您的位置:首页 >文章内容
Python如何设置代理IP
来源: 作者:admin 时间:2018-11-05 09:46:56

随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来小编就给大家介绍一下Python设置代理ip,请看下面介绍。


做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

    url = 'http://ip.zdaye.com/'

    #这是代理IP

    proxy = {'http':'168.68.8.88:66666'}

    #创建ProxyHandler

    proxy_support = request.ProxyHandler(proxy)

    #创建Opener

    opener = request.build_opener(proxy_support)

    #添加User Angent

    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

    #安装OPener

    request.install_opener(opener)

    #使用自己安装好的Opener

    response = request.urlopen(url)

    html = response.read().decode("utf-8")

    print(html)

 

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。



按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 05 2018-12
    怎么实现透明代理?

    大家都知道代理分为透明代理,高匿名代理,普通匿名代理等等,今天就给大家介绍一下如何实现透明代理,请看下面的介绍。

  • 20 2018-11
    QQ如何设置代理ip呢?

    对于我们这些资深网民,QQ和代理ip都是我们非常熟悉的东西了,那么我们如何将两者结合起来,在QQ上设置代理ip呢?

  • 20 2018-11
    代理服务器的特点

    在社会高速发展的今天,代理服务器已经被广泛应用于很多场景了,这里给大家简单的介绍一下它。代理服务器(Proxy Server)是一种重要的服务器安全功能,

  • 13 2019-08
    网络爬虫不用代理IP会被封吗

    网络爬虫大家都知道是抓取数据的程序,很多人都说爬虫需要用代理IP才能不被封IP。那么,网络爬虫不用代理IP会被封吗?今天小编就来为大家解开这个疑问。其实网络爬虫是否被封IP还是要看

在线客服

QQ资讯

上班时间