您的位置:首页 >文章内容
用代理服务器也会被封IP?
来源: 作者:admin 时间:2018-11-19 17:03:38


最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的。估计他使用的代理IP为透明代理,如果是高匿名代理是不会出现这种情况的。经常有朋友在数据采集时,会遇到爬虫被封的问题,这里给大家分析一下排查方法。


一、首先,检查 JavaScript 。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的 JavaScript 执行有问题。


二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用 Chrome 浏览器的网络面板(快捷键 F12 打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的 POST 命令,确认你的每个参数都是正确的。


三、是否有合法的 Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用,而且你的 cookie 在每次发起请求时都发送到了网站上。


这个就是小编带来的分享了,大家明白了吗?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 01 2019-08
    平时上网过程中为什么要用到高质量代理ip

    ​标准的网页浏览器都有保留最近浏览过页面的历史记录的一个功能,像IE浏览器,360浏览器等,我们在平时上网浏览网页过程中肯定不会注意这些。但是对于一些不法分子就有机可乘了,他们

  • 25 2018-10
    选择代理IP软件时要注意哪些问题

    随着社会科技的发展,使用代理IP软件的人群越来越多了,对于从事营销领域的用户来说,使用代理IP是每天必须的工作之一。

  • 25 2019-10
    动态代理IP​的五大优点

    动态代理IP​的五大优点,最近很多用户来咨询代理IP,问的比较多的是动态代理ip,但是发现很多用户对选择代理ip还是有不少疑问,特别是对动态代理不是很了解,今天迅速代理ip小编来给大

  • 28 2018-08
    ip动态代理哪个好

    随着互联网的飞速发展,越来越多的用户在担心上网过程中暴露个人的隐私信息,做电商的害怕店铺刷单被检测到而造成被封

在线客服

QQ资讯

上班时间