您好,欢迎来到[编程问答]网站首页   源码下载   电子书籍   软件下载   专题
当前位置:首页 >> 编程问答 >> Web开发 >> python抓取图片出现无法连接的错误

python抓取图片出现无法连接的错误

来源:网络整理     时间:2016/5/19 4:36:57     关键词:python

关于网友提出的“python抓取图片出现无法连接的错误”问题疑问,本网通过在网上对“python抓取图片出现无法连接的错误”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题:python抓取图片出现无法连接的错误
描述:

我尝试抓取一些网站的照片

f = open(name+'.jpg', 'wb+')
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36',
           'refer': 'http://www.meizitu.com/'}
f.write(requests.get(url, headers=headers).content)
f.close()
print(time.ctime())

传入的url是传入的参数,前面还有一个用BeautifulSoup解析获得url的函数,只是抓取了三到五张的图片TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。我对网络知识并不了解,google的结果也没有找到很好的解决方案。希望可以找到解决方案


解决方案1:

在pc和phone上打开你要爬取的网站试试,有可能是目标网站暂时无法打开导致的,并不是你的代码或者代理设置有问题。

解决方案2:

既然用python写 去网上找那些免费代理,抓到代理地址 挂代理 抓取试下。
用匿名代理

解决方案3:

可能是抓太快被封了,也可能是Referer没设置对:
refer 应该是Referer

解决方案4:

可能是你抓取的网站做了一些频率限制,遇到这种情况可以有几个办法:

  1. 降低抓取频率

  2. 模拟不同的访问请求,比如使用代理IP,变换user-agent,referer,cookie等


以上介绍了“python抓取图片出现无法连接的错误”的问题解答,希望对有需要的网友有所帮助。
本文网址链接:http://www.codes51.com/itwd/1176103.html

相关图片

相关文章