您的位置:首页 >文章内容
为什么使用了爬虫代理ip后,真实IP还是被封禁了?
来源: 作者:admin 时间:2019-02-11 16:41:43

很多朋友在刚做爬虫的时候会遇到一个问题,明明自己已经使用爬虫代理ip了,在爬取网站时爬到中途突然发现爬虫程序终止了, 一查才发现真实ip被封了,这时候会非常纳闷,我明明用了代理ip了啊,为什么我的真实IP还是会被封呢?是不是IP质量与问题?我被代理IP提供商给欺骗了?


为什么使用了爬虫代理ip后,真实IP还是被封禁了?


当然不排除这个可能,比如使用透明代理,目标服务器明确知道你使用了代理,也能知道你的真实IP,当然会被封禁;又如普匿代理,目标服务器知道你是一只披着羊皮的狼,当然也会封禁你的真实IP;而如果使用高匿代理ip,高匿ip代理则是和正常家庭上网一样,没有什么区别。如果使用透明代理、普匿代理被目标服务器识别后被封IP,那应该就是代理IP的质量不行。但是,使用高匿代理IP后,还是被封IP,这到底是怎么回事呢?


首先我们要清楚地知道,爬虫程序为什么需要代理IP?代理IP有什么作用?代理IP的原理是什么?之所以需要代理IP,是因为单IP频繁的爬取某个目标服务器,会对服务器造成巨大负载,服务器自然要作出一定的限制,那如果超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。而代理IP的作用就是代替被封的IP继续爬取,当到达了那个阈值时,这个代理IP一样会被封的,然后封了一个代理IP,还有千千万万个代理IP,前仆后继,只为完成爬取任务。由此可见,代理IP被封是很正常的,很多朋友认为,我用了代理IP,为什么要封我,我是不是买了个垃圾IP代理?然后就来找客服投诉,说自己被骗了,要求退款。


其实封IP有很多种原因,上面那种被封情况是不可避免的,并不是使用了代理IP就不会被封了。但也有不正常被封的,比如使用了质量差的代理(透明代理)。还有使用了高匿代理ip,也没有爬取几次就被封了的情况,这是为什么呢?那是因为没有很好的模拟人工访问服务器的行为,也就是说爬取策略不当,比如没有清除cookie等原因,也有可能是目标服务器的反爬策略升级了,代理IP被封的原因有很多种,而找出原因,让每个代理IP能发挥出最大的作用则是爬虫工作者的工作职责,也就是升级爬虫策略。


上文中我们提到,当超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。这也就是为什么有些代理IP可用率低的原因,因为当某个IP段被封禁后,你拨出的下一个IP也是被封禁的,所以不可用,造成整体IP可用率很低,浪费很多时间,这是为什么呢?


因为很多ADSL拨号的代理IP,拨出来的IP是连号的,这样的IP显得很假,跟正常用户访问的区别也很大,所以会有很多反爬程序会设置封禁整段IP地址,造成批量IP不可用,所以最好的IP资源是IP分散分布的不连号的,能够有效地提高各项业务的效率。

按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 18 2018-12
    什么是IP地址?代理IP地址又是什么

    ​在网络中,我们经常会遇到IP地址这个概念,这也是网络中的一个重要的概念。我们知道,在Internet上有千百万台主机,为了区分这些主机,人们给每台主机都分配了一个专门的地址

  • 21 2018-11
    反向代理服务器的工作原理

    反向代理(Reverse Proxy)方式是指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器

  • 10 2018-10
    浏览器代理服务器连接失败是怎么回事

    我们在使用电脑上网的时候,可能会遇到QQ可以上,但是网页却怎么也打不开。导致这种现象的主要是由,浏览器设置了不正确的代理设置所致。也就是路由器DNS设置出错。

  • 23 2019-05
    国内动态ip代理软件有哪些

    ​你还在寻找苦苦寻找换ip软件吗?你知道哪些国内动态ip代理软件呢?本站提供一款性能优越的自动换ip软件,功能强大,支持范围广泛,网页等在内的自动换ip功能。本软件您可以放心大胆的使

在线客服

QQ资讯

上班时间