您的位置:首页 >文章内容
爬虫用了高匿名代理ip,还是会封掉本机ip?
来源: 作者:admin 时间:2018-11-19 16:56:12


互联网科技发展极其迅速,爬虫行业也随着慢慢发展起来了,从事的朋友也越来越多。大家也都知道,代理ip是爬虫行业的好帮手,用的最多的是高匿名代理,因为它安全性非常高。但是还是会出现用了高匿名代理ip,还是会封掉本机ip的情况,对于这点,很多朋友表示很苦恼。小编分析了一下原因,请看下面的介绍。


1.代理可能并不高匿。现在市场上的ip代理商非常多,什么样的都有,五花八门的。你可以使爬虫访问你的IP地址,来检测代理是否生效。

2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是用于投票的一部分代码(nodejs):

function postRequest(url,data,callback,charset='utf8',cookie){

var proxy = getProxy('https');

console.log("Posting through proxy @ "+proxy)

SA.post(url)

.proxy(proxy) 

.set("Cookie",cookie)

.set('User-Agent',randomUA()) 

.set('X-Forwarded-For',randomIP()) 

.set('X-Real-IP',randomIP()) 

.set('Content-Type','application/x-www-form-urlencoded')

.send(data)

.timeout(5000)

.end(function(err,res){

if (typeof(res)!="undefined"){

callback(res);

}else{

console.log("Conect failed, try next proxy ");

postRequest(url,data,callback,null,cookie)

}

});

}


这就是小编带来的分享了,大家明白了吗?一定要注意选择一款优质的代理ip。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 11 2019-05
    哪有卖动态ip代理软件

    ​现在很多网络上出现推广的活动,那就先解决代理IP的问题,那么哪有卖动态ip代理软件的呢?如何选择一个性价比高的软件呢。小编向你推荐一款迅速软件。选择迅速软件代理IP软件,会让你

  • 26 2018-11
    设置代理的两个常见方法

    大家都知道,一般我们要使用代理的话,必须在连接属性中进行相应的设置。为了得到该连接的属性有2种方式:通过浏览器或通过控制面板来做到这一点,请看下面的介绍。

  • 27 2018-11
    Java如何实现代理服务器?

    代理服务器的作用,大家是有目共睹的,确实给我们带来了很大的方便,这时就有java程序员大牛想实现这个功能,小编在这里简单的介绍一下,请看下面的分享。

  • 15 2018-11
    代理服务器出故障怎么办?

    ​对于代理ip、代理服务器等词大家都是比较熟悉了,这里小编就不过多解释了,今天主要是给大家介绍一下代理服务器出故障导致无法上网的一个解决办法

在线客服

QQ资讯

上班时间