本篇文章主要介绍了"初步认识网络爬虫"，主要涉及到正则表达式方面的内容，对于Pythonjrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下：
无论你是由于什么原因想做一个网络爬虫，首先做的第一件事情就是要了解它。 在了解网络爬虫之前一定要牢记以下4个要点，这是做网络爬虫的基础： 1.抓取 py的url...
无论你是由于什么原因想做一个网络爬虫，首先做的第一件事情就是要了解它。
在了解网络爬虫之前一定要牢记以下4个要点，这是做网络爬虫的基础：
1.抓取
py的urllib不一定去用，但是要学，如果你还没用过的话。比较好的替代品有requests等第三方更人性化、成熟的库，如果pyer不了解各种库，那就白学了。抓取最基本就是拉网页回来。
如果深入做下去，你会发现要面对不同的网页要求，比如有认证的，不同文件格式、编码处理，各种奇怪的url合规化处理、重复抓取问题、cookies跟随问题、多线程多进程抓取、多节点抓取、抓取调度、资源压缩等一系列问题。
所以第一步就是拉网页回来，慢慢你会发现各种问题待你优化。
2.存储
抓回来一般会用一定策略存下来，而不是直接分析，个人觉得更好的架构应该是把分析和抓取分离，更加松散，每个环节出了问题能够隔离另外一个环节可能出现的问题，好排查也好更新发布。
那么存文件系统、SQLorNOSQL数据库、内存数据库，如何去存就是这个环节的重点。你可以选择存文件系统开始，然后以一定规则命名。
3.分析
对网页进行文本分析，提取链接也好，提取正文也好，总之看你的需求，但是一定要做的就是分析链接了。可以用你认为最快最优的办法，比如正则表达式。然后将分析后的结果应用与其他环节：）
4.展示
要是你做了一堆事情，一点展示输出都没有，如何展现价值？所以找到好的展示组件，去show出肌肉也是关键。
如果你为了做个站去写爬虫，抑或你要分析某个东西的数据，都不要忘了这个环节，更好地把结果展示出来给别人感受。
网络爬虫的定义
网络爬虫，即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
这样看来，网络爬虫就是一个爬行程序，一个抓取网页的程序。
网络爬虫的基本操作是抓取网页。那么如何才能随心所欲地获得自己想要的页面？
我们先从URL开始。
首先获取网页真正的url，简单的代码如下：
?
1 2 3 4 5 6 7 8 9 | from urllib2 import Request, urlopen, URLError, HTTPError
#导入urllib2模块，且直接使用Request，不需要urllib2.Request（from... import...）
old_url = 'http://rrurl.cn/b1UZuP'#写入网页显示的地址
req = Request(old_url)
|
