您的位置:首页 >文章内容
scrapy 代理ip池结构简介
来源: 作者:admin 时间:2018-11-21 17:05:48


互联网时代,从事爬虫工作的人非常多,经常使用爬虫的网络用户应该听过scrapy ,它是一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。它最吸引人的地方在于它是一个框架,可以根据个人需求修改,这里主要介绍一下代理IP池结构,请看下面。


代理池是由四部分组成:

  ProxyGetter:

  代理获取接口每调用一次就会抓取这个网站的最新代理放入DB,可自行添加额外的代理获取接口;

  DB:

  用于存放代理IP,现在暂时只支持SSDB。如果你没有用过SSDB,安装起来也很简单;

  Schedule:

  计划任务用户定时去检测DB中的代理可用性,删除不可用的代理。同时也会主动通过ProxyGetter去获取最新代理放入DB;

  ProxyApi:

代理池的外部接口,功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。


这个就是scrapy 代理ip池结构的简单介绍了,大家明白了吗?


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 27 2019-07
    什么是代理服务器,代理服务器有什么用?

    ​代理服务器英文全称是(Proxy Server),也叫做代理IP,其功能就是代理网络用户去取得网络信息。形象的说:它是网络信息的中转站。代理服务器就好象一个大的Cache,这样就能显著提高浏览

  • 28 2018-08
    ip动态代理哪个好

    随着互联网的飞速发展,越来越多的用户在担心上网过程中暴露个人的隐私信息,做电商的害怕店铺刷单被检测到而造成被封

  • 10 2019-07
    哪里可以找到动态代理ip资源

    ​众所周知高匿代理ip在使用过程中各项性能都高于普通匿名代理ip。然而物以稀为贵,在高匿代理ip较少而用户较多的情况下,很多用户只能望洋兴叹,百般挑选即使也不能购买到一个合适的高

  • 03 2018-12
    有关在线代理的详细介绍

    首先给大家介绍一下什么是在线代理。在线代理英文全称是(Web ProxyServer),又称在线代理。代理服务器其功能就是代理网络用户去取得网络信息

在线客服

QQ资讯

上班时间