您的位置:首页 >文章内容
Python如何设置代理IP
来源: 作者:admin 时间:2018-11-05 09:46:56

随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来小编就给大家介绍一下Python设置代理ip,请看下面介绍。


做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

    url = 'http://ip.zdaye.com/'

    #这是代理IP

    proxy = {'http':'168.68.8.88:66666'}

    #创建ProxyHandler

    proxy_support = request.ProxyHandler(proxy)

    #创建Opener

    opener = request.build_opener(proxy_support)

    #添加User Angent

    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

    #安装OPener

    request.install_opener(opener)

    #使用自己安装好的Opener

    response = request.urlopen(url)

    html = response.read().decode("utf-8")

    print(html)

 

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。



按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 30 2018-10
    免费代理IP存在的意义是什么

    自古以来,免费的东西向来令人趋之若鹜,哪怕这东西没有多大价值甚至毫无价值,“免费”两字本身就散发着令人着迷的魅力。

  • 18 2018-12
    什么是IP地址?代理IP地址又是什么

    ​在网络中,我们经常会遇到IP地址这个概念,这也是网络中的一个重要的概念。我们知道,在Internet上有千百万台主机,为了区分这些主机,人们给每台主机都分配了一个专门的地址

  • 15 2018-12
    巧用IP代理让电信联通网络互访更通畅

    社会发展到现在,基本会用电脑的每天都要用会电脑浏览下新闻,看下趣闻之类的,但是很多时候会觉得很卡,尤其是像我这样的铁通用户,虽然用的是20M的光钎

  • 15 2019-10
    利用代理IP​进行自媒体运营!

    利用代理IP​进行自媒体运营!自媒体的风在中国大地上哗哗的吹,人们常说站在风口上猪都能起飞,自媒体就是新时代的风,想要让自己在这个风口上起飞的人不在少数,随着自媒体运营的人群

在线客服

QQ资讯

上班时间