您的位置:首页 >文章内容
网络爬虫与代理ip的关系
来源: 作者:admin 时间:2018-11-16 17:13:31


互联网时代,反爬虫应运而生,并且不断进化,爬虫工作举步维艰,若不能调整好,只能被淘汰。那么,到底是什么行为触发了目标网站的反爬机制呢,请看下面的介绍。

 

1、单一的访问频次过高,反人类:普通人10秒访问一个网页, 爬虫一秒获取10个网页。
2、单一的ip出现非常规的流量,某个IP流量反差巨大。
3、大量的重复简单的网页浏览行为,有规律的访问相同网页。
4、只下载html文档, 不下载js。
5、在页面设置陷阱, 用户看不懂, 爬虫是可以的, 比如 hidden。
6、在页面写一段js代码, 浏览器直接执行, 程序不会执行。
7、判断请求头: 什么都变了,user-agent 万古不变。

 

原因已经总结出来了,接下来要做的事就是找出相关的解决办法,请看下面。
1、多主机的策略, 解决单一ip的问题, 分布式爬取。
2、调整访问频次, 设置随机休眠时间,爬一会休息一下。
3、通过不断切换代理ip, 或者直接使用ip代理的形式。
4、频繁的修改user-agent头。
5、Header中的Cache-Control修改为no-cache。
6、当返回状态码是403(服务器资源禁止访问),改变Header和IP。

 

这个就是小编给大家带来的总结分享了,朋友们如果有做爬虫工作的,一定要注意这些点啊,期待大家都能够以高效率完成自己的工作。

 

 


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 10 2018-10
    为什么用代理IP上网变得很慢

    相信很多朋友都使用过代理IP,不管是因为业务需求还是个人需求,在使用代理IP的过程中总会碰到一些让人郁闷无比的问题,比如代理IP连接不上。

  • 08 2018-11
    IPAD如何设置代理IP

    近些年来,社会科技在飞速发展,各种社交工具层出不穷,手机、电脑、IPAD等等,今天小编给大家介绍一下IPAD如何设置代理ip,请看下面的介绍

  • 05 2019-11
    什么时候需要用代理IP​?

    什么时候需要用代理IP​?对于经常接触网络的小伙伴来说,IP想必是大家十分熟悉的一个词汇。但是你真的对HTTP代理IP了解吗?今天小编来简单普及一下关于HTTP代理IP的相关小常识,让大家更明确

  • 27 2019-03
    免费IP代理真的“免费”吗?

    代理服务器是介于浏览器和Web服务器之间的一台服务器,当你通过代理服务器上网浏览时,浏览器不是直接到Web服务器去取回网页,而是向代理服务器发出请求

在线客服

QQ资讯

上班时间