您的位置:首页 >文章内容
用代理服务器也会被封IP?
来源: 作者:admin 时间:2018-11-19 17:03:38


最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的。估计他使用的代理IP为透明代理,如果是高匿名代理是不会出现这种情况的。经常有朋友在数据采集时,会遇到爬虫被封的问题,这里给大家分析一下排查方法。


一、首先,检查 JavaScript 。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的 JavaScript 执行有问题。


二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用 Chrome 浏览器的网络面板(快捷键 F12 打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的 POST 命令,确认你的每个参数都是正确的。


三、是否有合法的 Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用,而且你的 cookie 在每次发起请求时都发送到了网站上。


这个就是小编带来的分享了,大家明白了吗?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 24 2018-11
    动态IP和Socks5代理的区别?

    首先给大家介绍一下什么是动态IP和Socks5代理,请看下面。

  • 16 2018-10
    搜狗高速浏览器怎么设置代理服务器

    搜狗浏览器大家应该都知道,但是在其中如何设置IP代理呢?不熟悉的用户就去下面看看在搜狗浏览器中实行设置IP代理的具体步骤。

  • 30 2018-11
    简单的HTTP代理服务器的实现

    很多朋友想要自己实现简单的HTTP代理服务器,但是却无从下手,小编今天给大家介绍一下大概的步骤,希望可以帮到大家

  • 29 2018-11
    代理服务器按安全性如何分类?

    看过小编前面文章的朋友都知道,代理服务器(Proxy Server)是一种重要的服务器安全功能,它的工作主要在开放系统互联(OSI)模型的会话层,从而起到防火墙的作用。代理服务器大多被用来连接I

在线客服

QQ资讯

上班时间