ASP源码.NET源码PHP源码JSP源码JAVA源码DELPHI源码PB源码VC源码VB源码Android源码
当前位置:首页 >> 低调看体育直播 >> web前端 >> 初试Python爬虫-乌云厂商爬取

初试Python爬虫-乌云厂商爬取

来源:网络整理     时间:2015-12-30     关键词:

本篇文章主要介绍了"初试Python爬虫-乌云厂商爬取",主要涉及到方面的内容,对于web前端感兴趣的同学可以参考一下: 在大牛眼里估计连半成品都算不是,但是不管怎么说现在都踏出第一步了。今天写了按照极客学院的jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播写了一个爬取了乌云厂商第一页的URL,本来想和名字一起用正则整理打印...

在大牛眼里估计连半成品都算不是,但是不管怎么说现在都踏出第一步了。

今天写了按照极客学院的jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播写了一个爬取了乌云厂商第一页的URL,本来想和名字一起用正则整理打印出来无奈还不会,只能打印出厂商的URL。

下面是代码:

#-*—coding:utf8-*-
import requests
import re

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

send_header = {
"Host" : "www.wooyun.org",
"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0",
"Accept" : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
"Accept-Language" : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
"Accept-Encoding" : 'gzip, deflate',
"DNT" : "1",
"Cookie" : "__cfduid=d7016b041dec78f976f80c2e5e463385d1449796351; Hm_lvt_c12f88b5c1cd041a732dea597a5ec94c=1451372246,1451373303,1451374029,1451374047; wy_uid=4b3a8BUNfUJv2Qgp1nes4ipbF74Za0M5o5WURbWLWijKrQ; bdshare_firstime=1449982307586; login_type=8519IJNCzxisz%2F4Ekg28oQ3SkqGRFHKercLiZiVy; wy_pwd=ac02U1UNWVBQ77rwK8Mjif%2FFK9sZ8KypDeK3dGwyKHzGdHdo5Q1BLxinhl6RC5Qoo91aFIJ8R70VvlpBKw; PHPSESSID=tj0s59nj8b6maiho32a9f6hpu4; Hm_lpvt_c12f88b5c1cd041a732dea597a5ec94c=1451375666; wy_token=1324d703ad1c52d0e6ccc52b8f14f12e",
"X-Forwarded-For" : "8.8.8.8",
"Connection" : "keep-alive",
"Cache-Control" : "max-age=0",
}

html = requests.get('http://www.wooyun.org/corps/page/1',headers = send_header)
html.encoding = 'utf-8'
print html.text

changshang = re.findall('

运行效果:

初试Python爬虫-乌云厂商爬取

以上就介绍了初试Python爬虫-乌云厂商爬取,包括了方面的内容,希望对web前端有兴趣的朋友有所帮助。

本文网址链接:http://www.codes51.com/article/detail_266820.html

相关图片

相关文章