您的位置:首页 >文章内容
python爬虫应该怎样使用代理IP
来源: 作者:admin 时间:2019-08-17 16:15:00

经常碰到很多朋友问我,Python爬虫程序里应该怎样来使用代理IP,默认的urlopen是无法使用代理的IP的,今天就来分享一下Python爬虫怎样使用代理IP的经验。


 python爬虫应该怎样使用代理IP


一,这里以python3为例,首先要导入 urllib的request,然后调用ProxyHandler,它可以接受代理IP的参数。

 

from urllib import request

 

px=request.ProxyHandler()

 

二、接着把IP地址以字典的形式放入其中,这个IP地址是我从站大爷的短效优质代理里随便提取的一个IP。设置键为http,当然有些是https的,然后后面就是IP地址以及端口号。

 

st.ProxyHandler({'http':'171.11.178.189:38458'})

 

三、接着再用build_opener()来构建一个opener对象。

 

opener=request.build_opener(px)

 

四、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。

 

req=request.Request('网址')

 

res=opener.open(req)

 

with open('a.html','wb') as f:

 

f.write(res.read())

 

五、在使用代理IP的时候,可能会遇到一些错误,比如计算机积极拒绝之类的,这有可能是代理IP已经失效了,需要换个有效的代理IP来使用;也有可能遇到403或者407之类的错误,需要检查下授权对不对。

 

总之,在使用代理IP的过程中,总会遇到一些错误,需要冷静的分析,沉着的应对,最终解决问题。

按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 01 2019-07
    电脑换IP软件是技术上的新突破

    ​高科技时代,拥有一流的技术才是胜者,新一代电脑换IP软件是什么,这个同样离不开浏览器的支持,所以就有了迅速软件的出现。

  • 30 2018-11
    隐藏IP地址的最佳方式——使用代理服务器

    现如今使用代理服务器的人非常的多,许多电脑犯罪嫌疑人在发送恶意邮件时通常会使用代理服务器。使用代理服务器是攻击者们最常用的隐藏他们IP地址的方式。同样的,大量网民也是通过代

  • 06 2018-12
    反向代理模式优点及缺点介绍

    大家都知道,反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给

  • 13 2018-11
    用ip代理玩游戏好吗?

    ​随着现在社会的科技快速发展,网络的发展也是日新月异,网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活

在线客服

QQ资讯

上班时间