您的位置:首页 >文章内容
Python如何设置代理IP
来源: 作者:admin 时间:2018-11-05 09:46:56

随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来小编就给大家介绍一下Python设置代理ip,请看下面介绍。


做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

    url = 'http://ip.zdaye.com/'

    #这是代理IP

    proxy = {'http':'168.68.8.88:66666'}

    #创建ProxyHandler

    proxy_support = request.ProxyHandler(proxy)

    #创建Opener

    opener = request.build_opener(proxy_support)

    #添加User Angent

    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

    #安装OPener

    request.install_opener(opener)

    #使用自己安装好的Opener

    response = request.urlopen(url)

    html = response.read().decode("utf-8")

    print(html)

 

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。



按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 04 2018-12
    有关QQ使用代理的常见问题解答

    很多朋友在QQ使用代理的时候出现了问题,这里给大家列举两个,请看下面的分享。

  • 21 2018-08
    ip代理地址怎么设置

    代理服务器的功能就是代理网络用户去取得网络信息,也可以比喻为是网络信息的中转站。如果你想要突破访问限制,代理服务器可以帮助你,如果你想要隐藏自己的IP地址,代理服务器同样可

  • 29 2018-12
    哪里有高质量的代理ip

    ​现在的互联网中,越来越多的人开始注重隐私保护,还有一些如投票点赞、数据分析、帐号注册,论坛发帖、问答推广、网上购物、投票点赞等等场景都需要用代理IP。

  • 02 2018-11
    使用代理IP来解决爬虫被封的问题

    有从事爬虫工作的朋友说在大量爬取某个网站时,突然被该网站封了IP,再也爬不动了。研究其反爬虫策略时发现

在线客服

QQ资讯

上班时间