您的位置:首页 >文章内容
使用代理IP来解决爬虫被封的问题
来源: 作者:admin 时间:2018-11-02 15:27:19


有从事爬虫工作的朋友说在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?最后他使用了使用代理IP来解决。这里简单分享一下他的解决办法,希望对从事爬虫工作的朋友有帮助。


他的解决办法步骤如下:

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;

2、将opener_support载入build_opener方法,创建opener;

3、安装opener。


具体代码如下:

from urllib import request

def ProxySpider(url, proxy_ip, header):

    opener_support = request.ProxyHandler({'http': proxy_ip})  

    opener = request.build_opener(opener_support)  

    request.install_opener(opener) 

    req = request.Request(url, headers=header)

    rsp = request.urlopen(req).read()

    return rsp


有了代理IP软件,又学会了使用代理IP来做爬虫,就不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。这就是小编带来的内容了,希望对大家有帮助,有问题不可怕,关键是要找对解决问题的办法,还有一定要找到一款高质量的代理ip软件,迅速软件期待大家的选择。




按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 24 2018-10
  • 19 2018-11
    用代理服务器也会被封IP?

    最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的

  • 06 2019-05
    哪家的代理ip质量高?

    ​我们在使用代理ip的时候,最关注的一般都是代理ip的稳定时间和上网的速度。质量好的代理ip可以稳定存在很长时间,甚至可以稳定到好几个小时的时间,而质量不好的代理ip只能稳定几分钟

  • 29 2018-10
    怎样解决爬虫代理IP不足的问题

    很多从事爬虫工作的朋友在工作过程中,经常会被目标网站禁止访问,但又找不到原因,这是令人非常恼火的事情。

在线客服

QQ资讯

上班时间