您的位置:首页 >文章内容
用代理服务器也会被封IP?
来源: 作者:admin 时间:2018-11-19 17:03:38


最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的。估计他使用的代理IP为透明代理,如果是高匿名代理是不会出现这种情况的。经常有朋友在数据采集时,会遇到爬虫被封的问题,这里给大家分析一下排查方法。


一、首先,检查 JavaScript 。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的 JavaScript 执行有问题。


二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用 Chrome 浏览器的网络面板(快捷键 F12 打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的 POST 命令,确认你的每个参数都是正确的。


三、是否有合法的 Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用,而且你的 cookie 在每次发起请求时都发送到了网站上。


这个就是小编带来的分享了,大家明白了吗?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 22 2018-10
    IP代理与其它代理的区别

    很多朋友都听过IP代理,那么它和其它代理区别在哪里?它们之间有什么必然联系吗?说到代理它的范围就比较广泛,ip代理其实也是代理的一种

  • 26 2018-10
    苹果手机如何设置代理IP上网

    科技在快速发展,代理IP在现代生活中的应用越来越多,很多人总是听说代理IP或者HTTP代理,那到底什么是真正的代理呢?其实通俗的讲

  • 12 2018-11
    使用代理IP可能会遇到的一些错误

    随着现在社会科技的快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会

  • 13 2018-09
    代理服务器怎么使用更安全

    代理服务器是连接内部网与外部网的桥粱,一般可以被internet上的站点访问,因此应该具有良好的防护措施,能够抵御各种可能的来自internet的进攻。

在线客服

QQ资讯

上班时间