您的位置:首页 >文章内容
使用代理IP来解决爬虫被封的问题
来源: 作者:admin 时间:2018-11-02 15:27:19


有从事爬虫工作的朋友说在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?最后他使用了使用代理IP来解决。这里简单分享一下他的解决办法,希望对从事爬虫工作的朋友有帮助。


他的解决办法步骤如下:

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;

2、将opener_support载入build_opener方法,创建opener;

3、安装opener。


具体代码如下:

from urllib import request

def ProxySpider(url, proxy_ip, header):

    opener_support = request.ProxyHandler({'http': proxy_ip})  

    opener = request.build_opener(opener_support)  

    request.install_opener(opener) 

    req = request.Request(url, headers=header)

    rsp = request.urlopen(req).read()

    return rsp


有了代理IP软件,又学会了使用代理IP来做爬虫,就不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。这就是小编带来的内容了,希望对大家有帮助,有问题不可怕,关键是要找对解决问题的办法,还有一定要找到一款高质量的代理ip软件,迅速软件期待大家的选择。




按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 03 2018-12
    透明代理、匿名代理、混淆代理、高匿代理的区别

    很多朋友应该都听过题目中的这四种代理,那么它们之间有什么区别呢?请看下面的介绍。

  • 08 2018-09
    怎么用免费代理ip上网

    要代理首先我们需要有一个IP能够代理,这个去百度搜索一下代理IP就有了,如果有其它的渠道的话也可以,只要能够正常代理就行了。

  • 28 2018-08
    ip动态代理哪个好

    随着互联网的飞速发展,越来越多的用户在担心上网过程中暴露个人的隐私信息,做电商的害怕店铺刷单被检测到而造成被封

  • 20 2018-11
    IP和代理IP分别是什么?

    在如今这个网络发达的社会,上网的朋友越来越多,不论年龄大小、男女老少都慢慢加入了网络大军,在上网的时候,我们经常会遇到IP地址这个概念

在线客服

QQ资讯

上班时间