您的位置:首页 >文章内容
爬虫该如何选择代理ip​?
来源: 作者:admin 时间:2019-09-23 17:11:08

  爬虫该如何选择代理ip?在进行网站数据采集的时候我们经常需要变换ip地址来防止被封,目前市场上有许许多多的代理ip供应商,通常提供透明、普通和高匿代理ip三种类型,那么我们该如何选择适合爬虫的代理ip呢?本文为大家解答这个疑惑。


爬虫该如何选择代理ip


  1) 透明代理(Transparent Proxy)

  代理服务器的配置如下:

  REMOTE_ADDR = Proxy IP

  HTTP_VIA = Proxy IP

  HTTP_X_FORWARDED_FOR = Your IP

  透明代理虽然可以直接“隐藏”客户端的 IP 地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到客户端的 IP 地址。


  2) 普通代理(Anonymous Proxy)

  代理服务器的配置如下:

  REMOTE_ADDR = proxy IP

  HTTP_VIA = proxy IP

  HTTP_X_FORWARDED_FOR = proxy IP

  普通代理能提供隐藏客户端 IP 地址的功能。使用普通代理,服务器能知道客户端使用用了代理,当无法知道客户端真实 IP 地址。


  3)高匿代理(Elite Proxy 或 High Anonymity Proxy)

  代理服务器的配置如下:

  REMOTE_ADDR = Proxy IP

  HTTP_VIA = not determined

  HTTP_X_FORWARDED_FOR = not determined

  高匿代理既能让服务器不清楚客户端是否在使用代理,也能保证服务器获取不到客户端的真实 IP 地址。


  普通的匿名代理IP能隐藏客户机的真是IP,但是也会改变我们的请求信息,服务器端有可能会认为我们使用了代理。不过使用此种代理时,虽然被访问的网站不能知道客户端的 IP 地址,但仍然可以知道你在使用代理,当然某些能够侦测 IP 的网页仍然可以查到客户端的 IP。


  而高度匿名代理不改变客户机的请求,这样在服务器看来就像有个真正的客户浏览器在访问它,这时客户的真实IP是隐藏的,服务器端不会认为我们使用了代理。


  因此,爬虫程序需要使用到爬虫代理ip 时,尽量选择普通匿名代理和高匿名代理。另外,如果要保证数据不被代理服务器知道,推荐使用 HTTPS 协议的代理。【推荐阅读:爬虫代理ip从哪儿来?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 23 2019-10
    如何解决ip被限制问题?

    如何解决ip被限制问题?一般ip被网站限制都是因为爬虫的原因,也就是说你的网络连接受到阻拦或者是你的IP地址无效不能用,这时候该怎么解除呢?一般都是利用代理ip来帮助我们。

  • 20 2020-03
    爬虫限制需要代理ip软件

    作为每天都需要用到互联网,我们已经非常习惯通过网络ip地址来获得信息了,但是如果当我们的ip地址受到了限制,又该怎么办呢?

  • 23 2019-11
    用代理ip​实现安全上网!

    用代理ip​实现安全上网!在互联网日益发达的今天,我们每天都在使用浏览器浏览最新信息、上网冲浪等,这成为了现代人必不可少的内容之一。许多网民朋友都纷纷表示,互联网本身属于虚拟

  • 19 2019-11
    使用代理ip​的一些问题!

    使用代理ip​的一些问题!在使用HTTP代理时,经常会碰到一些问题,让我们的工作不是那么的顺畅。不过不要紧,只要冷静下来,还是可以找出问题并解决问题的,今天我们来整理下比较常见的

在线客服

QQ资讯

上班时间