您的位置:首页 >文章内容
Python如何设置代理IP
来源: 作者:admin 时间:2018-11-05 09:46:56

随着社会科技的飞速发展,互联网行业的兴起,从事爬虫工作的朋友越来越多,大家都知道,为了对抗反爬虫策略,设置代理IP是必须的一项工作,没有这个,爬虫工作将会变得无比艰难,接下来小编就给大家介绍一下Python设置代理ip,请看下面介绍。


做爬虫的朋友都知道,使用install_opener方法之后,会将程序默认的urlopen方法替换掉。也就是说,如果使用install_opener之后,在该文件中,再次调用urlopen会使用自己创建好的opener。如果不想替换掉,只是想临时使用一下,可以使用opener.open(url),这样就不会对程序默认的urlopen有影响。

from urllib import request

if __name__ == "__main__":

    url = 'http://ip.zdaye.com/'

    #这是代理IP

    proxy = {'http':'168.68.8.88:66666'}

    #创建ProxyHandler

    proxy_support = request.ProxyHandler(proxy)

    #创建Opener

    opener = request.build_opener(proxy_support)

    #添加User Angent

    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]

    #安装OPener

    request.install_opener(opener)

    #使用自己安装好的Opener

    response = request.urlopen(url)

    html = response.read().decode("utf-8")

    print(html)

 

这就是小编给大家介绍的方法了,有从事爬虫工作的朋友可以按这个方法试试,操作简单,效果是很好的。



按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 02 2019-07
    网页代理满足IP切换最大需求

    ​互联网时代快速发展的今天,各类与互联网息息相关的事物如雨后春笋般涌现而出,其中,互联网上大量的同质网站让消费者眼花缭乱

  • 16 2018-10
    QQ如何设置代理上网

    说句实话,我很多年没有遇到过需要设置代理服务器来登录QQ了,依稀记得上一次这样做还是在上高中那会儿,有一次去网吧上夜市,才找网管帮忙设置了一次。

  • 21 2018-11
    电脑网游加速器工作原理

    在这个互联网时代,网络游戏方面发展的很快,游戏开发商不断开发出新的游戏供我们娱乐,一批又一批青少年加入游戏大军

  • 01 2019-08
    什么样的爬虫代理ip更受网民的喜爱?

    ​在网络爬虫抓取信息的过程中,如果抓取频率高过了网站的设置阀值,将会被禁止访问。通常,网站的反爬虫机制都是依据IP来标识爬虫的,解决方法就是使用代理IP。如今很多人对于很多现

在线客服

QQ资讯

上班时间