您的位置:首页 >文章内容
爬虫用了高匿名代理ip,还是会封掉本机ip?
来源: 作者:admin 时间:2018-11-19 16:56:12


互联网科技发展极其迅速,爬虫行业也随着慢慢发展起来了,从事的朋友也越来越多。大家也都知道,代理ip是爬虫行业的好帮手,用的最多的是高匿名代理,因为它安全性非常高。但是还是会出现用了高匿名代理ip,还是会封掉本机ip的情况,对于这点,很多朋友表示很苦恼。小编分析了一下原因,请看下面的介绍。


1.代理可能并不高匿。现在市场上的ip代理商非常多,什么样的都有,五花八门的。你可以使爬虫访问你的IP地址,来检测代理是否生效。

2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是用于投票的一部分代码(nodejs):

function postRequest(url,data,callback,charset='utf8',cookie){

var proxy = getProxy('https');

console.log("Posting through proxy @ "+proxy)

SA.post(url)

.proxy(proxy) 

.set("Cookie",cookie)

.set('User-Agent',randomUA()) 

.set('X-Forwarded-For',randomIP()) 

.set('X-Real-IP',randomIP()) 

.set('Content-Type','application/x-www-form-urlencoded')

.send(data)

.timeout(5000)

.end(function(err,res){

if (typeof(res)!="undefined"){

callback(res);

}else{

console.log("Conect failed, try next proxy ");

postRequest(url,data,callback,null,cookie)

}

});

}


这就是小编带来的分享了,大家明白了吗?一定要注意选择一款优质的代理ip。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 08 2018-11
    网页ip代理可以隐藏自己的IP吗

    随着社会的快速发展,互联网的产生,越来越多的人成为了网民,这是社会发展的必然结果

  • 19 2018-09
    国内动态IP软件有哪些

    现在的网店商家多了,随之而来竞争也就多了,是不是有一种感觉生意特别不好做呢,每个店家都在通过不同的方法来增加销量。

  • 25 2019-10
    使用代理IP​能无限投票吗?

    使用代理IP​能无限投票吗?网络投票是通过Internet网友进行投票,因为投票过程无人员参与,完全是程序输出,这既是网络投票的优点也是缺点,因此,网络投票一般采取Session验证法、IP地址验

  • 08 2018-11
    使用HTTP代理IP有哪些优点

    在这里小编首先简单介绍一下什么是HTTP代理。HTTP代理指的是使用代理服务器使网络用户访问外部网站

在线客服

QQ资讯

上班时间