您的位置:首页 >文章内容
爬虫用了高匿名代理ip,还是会封掉本机ip?
来源: 作者:admin 时间:2018-11-19 16:56:12


互联网科技发展极其迅速,爬虫行业也随着慢慢发展起来了,从事的朋友也越来越多。大家也都知道,代理ip是爬虫行业的好帮手,用的最多的是高匿名代理,因为它安全性非常高。但是还是会出现用了高匿名代理ip,还是会封掉本机ip的情况,对于这点,很多朋友表示很苦恼。小编分析了一下原因,请看下面的介绍。


1.代理可能并不高匿。现在市场上的ip代理商非常多,什么样的都有,五花八门的。你可以使爬虫访问你的IP地址,来检测代理是否生效。

2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是用于投票的一部分代码(nodejs):

function postRequest(url,data,callback,charset='utf8',cookie){

var proxy = getProxy('https');

console.log("Posting through proxy @ "+proxy)

SA.post(url)

.proxy(proxy) 

.set("Cookie",cookie)

.set('User-Agent',randomUA()) 

.set('X-Forwarded-For',randomIP()) 

.set('X-Real-IP',randomIP()) 

.set('Content-Type','application/x-www-form-urlencoded')

.send(data)

.timeout(5000)

.end(function(err,res){

if (typeof(res)!="undefined"){

callback(res);

}else{

console.log("Conect failed, try next proxy ");

postRequest(url,data,callback,null,cookie)

}

});

}


这就是小编带来的分享了,大家明白了吗?一定要注意选择一款优质的代理ip。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 18 2019-05
    使用代理IP提供安全保障

    ​很多时候,互联网给我们带来了很多的便利,同时也给存在着很多漏洞和欺骗,稍微不注意电脑信息就会被丢失,非常的不安全,遇到这样的情况可以选择迅速软件代理IP,这样一来安全性能

  • 22 2018-11
    代理ip你用过吗?

    近几年,互联网科技飞速发展,无论年龄,很多朋友都开始加入了网民这个队伍。平常上网的时候,有的时候会用到代理ip,但是说到代理IP很多人或觉得有些陌生

  • 19 2018-11
    用代理服务器也会被封IP?

    最近有个朋友说用爬虫大量访问页面后会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽,他很苦恼,不知道是什么情况导致的

  • 08 2019-05
    ip代理软件是您进行替换ip的福音

    ​网络迅猛发展,人们往往苦于没办法藏匿自己的上网痕迹而苦恼,好像有人时刻看到你在做什么一样,于是ip代理软件营运而生了。ip从很难改变到现在可以轻松替换,省去了好多上网的后顾

在线客服

QQ资讯

上班时间