您的位置:首页 >文章内容
怎么验证爬虫代理有效性
来源: 作者:admin 时间:2020-03-04 10:41:57

  尽管知道免费代理IP有效率并不怎么好,但毕竟是天上掉下来的馅饼。还是有很多人去爬取免费代理IP用来做爬虫的,不过也得减缓爬取速度,避免影响人家网站的正常运行。



  那么问题来了,如何抓取免费代理IP呢?又如何多线程验证代理IP是否有效呢?


  一、抓取代理IP


  首先找一个提供免费代理IP的网站,这个网上有很多,这里就不举例说明了。


  import urllib.request


  import urllib


  import re


  import time


  import random


  #抓取代理IP


  ip_totle=[]#所有页面的内容列表


  for page in range(2,6):


  url='http:www.***.com/***/'+str(page)


  headers={"User-Agent":"Mozilla/5.0(Windows NT 10.0;WOW64)"}


  request=urllib.request.Request(url=url,headers=headers)


  response=urllib.request.urlopen(request)


  content=response.read().decode('utf-8')


  print('get page',page)


  pattern=re.compile('<td>(\d.*?)</td>')#截取<td>与</td>之间第一个数为数字的内容


  ip_page=re.findall(pattern,str(content))


  ip_totle.extend(ip_page)


  time.sleep(random.choice(range(1,3)))


  #打印抓取内容


  print('代理IP地址','\t','端口','\t','速度','\t','验证时间')


  for i in range(0,len(ip_totle),4):


  print(ip_totle<i>,'','\t',ip_totle[i+1],'\t',ip_totle[i+2],'\t',ip_totle[i+3])


  二、验证代理IP是否有效


  免费代理IP的有效率很低,所以在使用前还是需要验证下代理IP是否有效比较好,这样比较节省时间。


  import urllib.request


  url="http://www.***.com/***"#打算抓取内容的网页


  proxy_ip={'http':'37.27.32.42:80'}#想验证的代理IP


  proxy_support=urllib.request.ProxyHandler(proxy_ip)


  opener=urllib.request.build_opener(proxy_support)


  opener.addheaders=[("User-Agent","Mozilla/5.0(Windows NT 10.0;WOW64)")]


  urllib.request.install_opener(opener)


  print(urllib.request.urlopen(url).read())


  三、多线程快速验证


  按顺序逐个验证代理IP的有效性速度比较慢,python中有多线程模块,多线程类似于同时执行多个不同程序,使用多线程可以把占据长时间的程序中的任务放到后台去处理,在一些需要等待的任务实现上线程就比较有用了,由于篇幅原因,这里就不贴多线程的代码了,各位自己琢磨下就明白了。


  最后多嘴一句,免费代理IP虽然是免费,但时间成本更昂贵,为了提升工作效率,还是建议去付费,网连代理的短效优质代理IP和一手私密代理IP都很适合用来做爬虫不妨咨询一二。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 14 2020-01
    换ip工具哪个好

    相信很多人都对换ip工具非常感兴趣,现在网上出现了很多的换ip工具,这些换ip工具的功能都差不多,对于有需要的人来说他们是有很多帮助的,我们在网上需要经常更换IP,如果在网上去搜索I

  • 28 2019-01
    IP地址被占用?教你怎么禁止用户修改IP地址

    在某些公司是采用固定IP地址来访问网络的,但是难免会有人随意修改IP,这样就会导致别人的IP被占用,然后网络混乱,管理压力大,现在提供一个禁止修改IP地址的方案

  • 17 2020-02
    从什么地方来获得代理IP

    代理IP为什么现在越来越多人在用?特别是网络营销以及大数据普及之后,代理IP的需求跟使用率一下子呈现出指数增长,我们来看看可以从什么地方来获得代理IP。

  • 28 2018-12
    电脑更换ip地址的方法有哪些

    ​互联网上有很多IP地址,但它们并不是处于杂乱无章的无序状态,而是每一个主机都有惟一的地址,作为该主机在Internet上的唯一标志,我们称为IP地址。

在线客服

QQ资讯

上班时间