您的位置:首页 >文章内容
数据采集一般用哪种代理比较好
来源: 作者:admin 时间:2019-07-15 11:22:17

在 Web 数据采集中为了避免被服务器封锁而通过代理下载的情况很常见。但是,并非所有的代理都适合于 Web 数据采集。


 数据采集一般用哪种代理比较好


根据HTTP代理的匿名性可以将其分为以下几种:

 

1. 透明代理(Transparent Proxies)

目标服务器能够检测到真实的源IP。

 

目标服务器根据HTTP请求头进行检测,判断依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 通常为代理服务器 IP(或代理软件名称,也可能无此头)

HTTP_X_FORWARDED_FOR = 真实源IP(不用代理时,无此头或值为空)

PS:该类型代理不适合用于Web数据采集。

 

2. (普通)匿名代理(Anonymous Proxies)

目标服务器无法检测到真实的源IP,但能够检测到使用了代理。

 

检测依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 通常为代理服务器 IP(或代理软件名称,也可能无此头)

HTTP_X_FORWARDED_FOR = 代理服务器 IP(知道你使用了代理,但无法得知真实源IP)

PS:该类型代理可以用于Web数据采集,但有被检测到的风险。

 

3. 高匿名代理(High Anonymity Proxies -Elite proxies)

目标服务器无法检测到你在是使用代理。

 

检测依据:

REMOTE_ADDR = 代理服务器 IP

HTTP_VIA = 值为空或无此头

HTTP_X_FORWARDED_FOR = 没数值或无此头

PS:该类型的代理非常适合用户Web数据采集。迅速软件的付费代理方案提供的全部为高匿名类型的代理。

 

另外,不使用代理时发出的头:

REMOTE_ADDR =真实源 IP

HTTP_VIA = 值为空或无此头

HTTP_X_FORWARDED_FOR = 没数值或无此头

 

不过,在检测严格的情况下,即使没有HTTP_VIA头和HTTP_X_FORWARDED_FOR头,如果存在HTTP_PROXY_CONNECTION头,会被认为在使用普通匿名代理。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 05 2018-12
    在线代理的缺点解析

    很多朋友都用过在线代理,但是由于网络原因,有些在线代理不是很稳定,下面小编给大家介绍一下在线代理的缺点,请看下面的介绍。

  • 21 2018-11
    反向代理服务器的工作原理

    反向代理(Reverse Proxy)方式是指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器

  • 15 2018-11
    HTTP代理的类别

    在这个网络时代,对于http代理、http协议等词大家都是非常的熟悉了,但是HTTP代理是有类别之分的,这个恐怕有部分朋友不知道

  • 16 2018-10
    360极速浏览器怎么使用代理服务器设置

    如果通过代理服务器上网的话,那么一般情况下,浏览器都需要配置一下代理信息,360极速浏览器如何设置代理呢?请看下面简单介绍。

在线客服

QQ资讯

上班时间