您的位置:首页 >文章内容
爬虫用了高匿名代理ip,还是会封掉本机ip?
来源: 作者:admin 时间:2018-11-19 16:56:12


互联网科技发展极其迅速,爬虫行业也随着慢慢发展起来了,从事的朋友也越来越多。大家也都知道,代理ip是爬虫行业的好帮手,用的最多的是高匿名代理,因为它安全性非常高。但是还是会出现用了高匿名代理ip,还是会封掉本机ip的情况,对于这点,很多朋友表示很苦恼。小编分析了一下原因,请看下面的介绍。


1.代理可能并不高匿。现在市场上的ip代理商非常多,什么样的都有,五花八门的。你可以使爬虫访问你的IP地址,来检测代理是否生效。

2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是用于投票的一部分代码(nodejs):

function postRequest(url,data,callback,charset='utf8',cookie){

var proxy = getProxy('https');

console.log("Posting through proxy @ "+proxy)

SA.post(url)

.proxy(proxy) 

.set("Cookie",cookie)

.set('User-Agent',randomUA()) 

.set('X-Forwarded-For',randomIP()) 

.set('X-Real-IP',randomIP()) 

.set('Content-Type','application/x-www-form-urlencoded')

.send(data)

.timeout(5000)

.end(function(err,res){

if (typeof(res)!="undefined"){

callback(res);

}else{

console.log("Conect failed, try next proxy ");

postRequest(url,data,callback,null,cookie)

}

});

}


这就是小编带来的分享了,大家明白了吗?一定要注意选择一款优质的代理ip。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
在线客服

QQ资讯

上班时间