您的位置:首页 >文章内容
用代理服务器也会被封IP?
来源: 作者:admin 时间:2018-11-19 17:03:38


最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的。估计他使用的代理IP为透明代理,如果是高匿名代理是不会出现这种情况的。经常有朋友在数据采集时,会遇到爬虫被封的问题,这里给大家分析一下排查方法。


一、首先,检查 JavaScript 。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的 JavaScript 执行有问题。


二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用 Chrome 浏览器的网络面板(快捷键 F12 打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的 POST 命令,确认你的每个参数都是正确的。


三、是否有合法的 Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用,而且你的 cookie 在每次发起请求时都发送到了网站上。


这个就是小编带来的分享了,大家明白了吗?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 26 2018-11
    企业和个人为什么使用代理服务器?

    近些年来,代理服务器变得非常火,使用的人群非常多,无论是个人还是企业,那么他们为什么使用代理服务器呢?请看下面的介绍。

  • 26 2018-11
    怎么使用代理服务器更安全?

    代理服务器的概念大家都是很清楚的,这里就不再多说了,今天小编给大家介绍一下提高代理服务器安全性的一些基本方法,请看下面的介绍。

  • 23 2019-05
    使用代理IP能够干什么

    ​遇到过很多想要购买代理IP的朋友,他们这样问我,你家的代理IP可以帮我注册账号吗?你家的代理IP能帮我发邮件吗?你家的代理IP能帮我发广告推广产品吗?你家的代理IP能帮我实现网络爬

  • 24 2018-10
在线客服

QQ资讯

上班时间