您的位置:首页 >文章内容
使用代理IP来解决爬虫被封的问题
来源: 作者:admin 时间:2018-11-02 15:27:19


有从事爬虫工作的朋友说在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。爬虫不能停,工作任务必须按时完成,怎么办呢?最后他使用了使用代理IP来解决。这里简单分享一下他的解决办法,希望对从事爬虫工作的朋友有帮助。


他的解决办法步骤如下:

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;

2、将opener_support载入build_opener方法,创建opener;

3、安装opener。


具体代码如下:

from urllib import request

def ProxySpider(url, proxy_ip, header):

    opener_support = request.ProxyHandler({'http': proxy_ip})  

    opener = request.build_opener(opener_support)  

    request.install_opener(opener) 

    req = request.Request(url, headers=header)

    rsp = request.urlopen(req).read()

    return rsp


有了代理IP软件,又学会了使用代理IP来做爬虫,就不用担心被目标网站限制了,爬虫工作效率直线上线,按时完成任务不在话下。这就是小编带来的内容了,希望对大家有帮助,有问题不可怕,关键是要找对解决问题的办法,还有一定要找到一款高质量的代理ip软件,迅速软件期待大家的选择。




按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 30 2018-11
    web代理服务器详解

    首先给大家介绍一下web代理服务器的概念吧,它是网络的中间实体,位于客户端和服务器之间,扮演“中间人”的角色,作用是在各端点之间来回传送报文。其原理是:客户端向代理服务器发送

  • 09 2018-10
    代理ip软件是什么

    在市场营销中,最常使用的自然就是换ip软件。自然应对的这种市场需求,网络中也有相应的一些软件被开发并且进行编程。

  • 31 2018-10
    HTTP代理IP和socks5代理IP可以互换使用吗

    很多朋友分不清什么是HTTP代理IP,什么是socks5代理IP,经常将两者搞混,结果买错了产品,甚至有些朋友问HTTP代理IP能不能当成socks5代理IP用

  • 08 2018-09
    怎么用免费代理ip上网

    要代理首先我们需要有一个IP能够代理,这个去百度搜索一下代理IP就有了,如果有其它的渠道的话也可以,只要能够正常代理就行了。

在线客服

QQ资讯

上班时间