您的位置:首页 >文章内容
Python如何设置代理IP
来源: 作者:admin 时间:2018-11-05 09:46:56

随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来小编就给大家介绍一下Python设置代理ip,请看下面介绍。


做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

    url = 'http://ip.zdaye.com/'

    #这是代理IP

    proxy = {'http':'168.68.8.88:66666'}

    #创建ProxyHandler

    proxy_support = request.ProxyHandler(proxy)

    #创建Opener

    opener = request.build_opener(proxy_support)

    #添加User Angent

    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

    #安装OPener

    request.install_opener(opener)

    #使用自己安装好的Opener

    response = request.urlopen(url)

    html = response.read().decode("utf-8")

    print(html)

 

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。



按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 13 2018-11
    营销人员的宝贝-------代理ip

    随着社会的高速发展,互联网行业的兴起,很多朋友从事网络营销方面的工作,但是不管是做电商还是做推广

  • 16 2019-02
    代理服务器如何工作?

    发出请求时,代理服务器首先检查其缓存,以查看该网页是否已可用于转发给用户。如果请求的页面或站点不在缓存中,则代理使用其自己的IP地址之一从Internet请求页面

  • 30 2018-11
    web缓存代理服务器的工作方式简介

    今天小编给大家介绍一下web缓存代理服务器的工作方式,请看下面。

  • 30 2018-11
    为什么说免费代理ip其实最贵?

    自古以来,我们一直都非常喜欢免费的东西,确实,它不会让我们损失金钱。就拿免费代理IP来说,很多朋友都喜欢尝试一下,但是经过实际测试过后才发现,天下真的是没有免费的午餐,免费

在线客服

QQ资讯

上班时间