您的位置:首页 >文章内容
爬虫用了高匿名代理ip,还是会封掉本机ip?
来源: 作者:admin 时间:2018-11-19 16:56:12


互联网科技发展极其迅速,爬虫行业也随着慢慢发展起来了,从事的朋友也越来越多。大家也都知道,代理ip是爬虫行业的好帮手,用的最多的是高匿名代理,因为它安全性非常高。但是还是会出现用了高匿名代理ip,还是会封掉本机ip的情况,对于这点,很多朋友表示很苦恼。小编分析了一下原因,请看下面的介绍。


1.代理可能并不高匿。现在市场上的ip代理商非常多,什么样的都有,五花八门的。你可以使爬虫访问你的IP地址,来检测代理是否生效。

2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是用于投票的一部分代码(nodejs):

function postRequest(url,data,callback,charset='utf8',cookie){

var proxy = getProxy('https');

console.log("Posting through proxy @ "+proxy)

SA.post(url)

.proxy(proxy) 

.set("Cookie",cookie)

.set('User-Agent',randomUA()) 

.set('X-Forwarded-For',randomIP()) 

.set('X-Real-IP',randomIP()) 

.set('Content-Type','application/x-www-form-urlencoded')

.send(data)

.timeout(5000)

.end(function(err,res){

if (typeof(res)!="undefined"){

callback(res);

}else{

console.log("Conect failed, try next proxy ");

postRequest(url,data,callback,null,cookie)

}

});

}


这就是小编带来的分享了,大家明白了吗?一定要注意选择一款优质的代理ip。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 22 2018-11
    PHP爬虫怎样验证代理ip

    代理ip很多人都用过,且它的数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。网络上经常流传着一句话

  • 29 2018-11
    互联网中代理服务器扮演了什么角色?

    今天小编给大家具体说明一下代理服务器在我们互联网中所承担的是一个什么样的角色,请看下面。

  • 21 2019-08
    使用了代理IP为什么不能正常访问网站

    很多网络工作者都需要使用到代理IP,于是乎,他们在网上寻找代理IP,免费的,付费的,各种代理IP供应商的,都使用了一遍之后,可能发现了这样一个事实,没有百分之百可以用的代理IP

  • 23 2019-05
    使用代理IP能够干什么

    ​遇到过很多想要购买代理IP的朋友,他们这样问我,你家的代理IP可以帮我注册账号吗?你家的代理IP能帮我发邮件吗?你家的代理IP能帮我发广告推广产品吗?你家的代理IP能帮我实现网络爬

在线客服

QQ资讯

上班时间