您的位置:首页 >文章内容
使用代理IP来解决爬虫被封的问题
来源: 作者:admin 时间:2018-11-02 15:27:19


有从事爬虫工作的朋友说在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?最后他使用了使用代理IP来解决。这里简单分享一下他的解决办法,希望对从事爬虫工作的朋友有帮助。


他的解决办法步骤如下:

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;

2、将opener_support载入build_opener方法,创建opener;

3、安装opener。


具体代码如下:

from urllib import request

def ProxySpider(url, proxy_ip, header):

    opener_support = request.ProxyHandler({'http': proxy_ip})  

    opener = request.build_opener(opener_support)  

    request.install_opener(opener) 

    req = request.Request(url, headers=header)

    rsp = request.urlopen(req).read()

    return rsp


有了代理IP软件,又学会了使用代理IP来做爬虫,就不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。这就是小编带来的内容了,希望对大家有帮助,有问题不可怕,关键是要找对解决问题的办法,还有一定要找到一款高质量的代理ip软件,迅速软件期待大家的选择。




按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 27 2018-11
    代理服务器是怎么操作的?

    对于代理服务器这个词,大家应该很熟悉了,今天小编给大家介绍一下代理服务器是怎么操作的,请看下面的介绍。

  • 13 2018-09
    代理服务器怎么使用更安全

    代理服务器是连接内部网与外部网的桥粱,一般可以被internet上的站点访问,因此应该具有良好的防护措施,能够抵御各种可能的来自internet的进攻。

  • 09 2018-11
    HTTP代理IP与蜜罐技术的关系

    首先小编给大家简单介绍一下什么是蜜罐技术。它是一种对攻击方进行欺骗的技术,它先放一些作为诱饵的虚假信息在网上,诱使攻击方对其实施攻击。

  • 20 2018-11
    QQ如何设置代理ip呢?

    对于我们这些资深网民,QQ和代理ip都是我们非常熟悉的东西了,那么我们如何将两者结合起来,在QQ上设置代理ip呢?

在线客服

QQ资讯

上班时间