本篇文章主要介绍了"初试Python爬虫-乌云厂商爬取",主要涉及到方面的内容,对于web前端感兴趣的同学可以参考一下:
在大牛眼里估计连半成品都算不是,但是不管怎么说现在都踏出第一步了。今天写了按照极客学院的jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播写了一个爬取了乌云厂商第一页的URL,本来想和名字一起用正则整理打印...
在大牛眼里估计连半成品都算不是,但是不管怎么说现在都踏出第一步了。
今天写了按照极客学院的jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播写了一个爬取了乌云厂商第一页的URL,本来想和名字一起用正则整理打印出来无奈还不会,只能打印出厂商的URL。
下面是代码:
#-*—coding:utf8-*-
import requests
import re
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
send_header = {
"Host" : "www.wooyun.org",
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0",
"Accept" : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
"Accept-Language" : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
"Accept-Encoding" : 'gzip, deflate',
"DNT" : "1",
"Cookie" : "__cfduid=d7016b041dec78f976f80c2e5e463385d1449796351; Hm_lvt_c12f88b5c1cd041a732dea597a5ec94c=1451372246,1451373303,1451374029,1451374047; wy_uid=4b3a8BUNfUJv2Qgp1nes4ipbF74Za0M5o5WURbWLWijKrQ; bdshare_firstime=1449982307586; login_type=8519IJNCzxisz%2F4Ekg28oQ3SkqGRFHKercLiZiVy; wy_pwd=ac02U1UNWVBQ77rwK8Mjif%2FFK9sZ8KypDeK3dGwyKHzGdHdo5Q1BLxinhl6RC5Qoo91aFIJ8R70VvlpBKw; PHPSESSID=tj0s59nj8b6maiho32a9f6hpu4; Hm_lpvt_c12f88b5c1cd041a732dea597a5ec94c=1451375666; wy_token=1324d703ad1c52d0e6ccc52b8f14f12e",
"X-Forwarded-For" : "8.8.8.8",
"Connection" : "keep-alive",
"Cache-Control" : "max-age=0",
}
html = requests.get('http://www.wooyun.org/corps/page/1',headers = send_header)
html.encoding = 'utf-8'
print html.text
changshang = re.findall('
运行效果:

以上就介绍了初试Python爬虫-乌云厂商爬取,包括了方面的内容,希望对web前端有兴趣的朋友有所帮助。
本文网址链接:http://www.codes51.com/article/detail_266820.html