您的位置:首页 >文章内容
爬虫如何实现http代理
来源: 作者:admin 时间:2018-11-14 17:17:29

随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活、工作不可或缺的一部分。说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。那么python 如何实现http代理呢?请看下面的代码。

  import socket

  import threading

  class ProxyServer():

  def __init__(self):

  self.ListenSock = socket()

  self.ListenSock.bind()

  self.Clients = []

  def listen_thread(self):

  self.ListenSock.listen()

  while(1):

  self.Clients.append(ProxyClient(self.ListenSock.accpet())

  def start_work(self):

  start listen_thread

  while(1):

  #从内存中踢出已经断开的连接

  for i in self.client:

  if i not alive:

  self.clients.remove(i)

  上面伪代码中的ProxyClient就是处理每个客户端的类

  class ProxyClient():

  def __init__(self, Csock):

  self.Csock = Csock

  self.Rsock = None

  start request_process_thread

  def request_process_thread(self):

  while(1):

  req = self.Csock.recv()

  #客户端断开了

  if req == '':

  return

  #从请求中获得客户端想要访问的地址

  addr = get addr from req

  if self.Rsock == None:

  self.Rsock.connect(addr)

  #把客户端的请求转出去

  self.Rscok.send(req)

  #开启接受web data的线程,把web data转发给客户端

  start recv_web_data_thread

  else:

  #如果连接已经建立就不要再去创建新的

  self.Rsock.send(req)

  def recv_web_data_thread(self):

  while(1):

  data = self.Rsock.recv()

  if data=='':

  return

  #把web data转发给客户端

  self.Csock.send(data)


 这就是小编带来的分享了,程序员大牛可以试试效果哦。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 21 2018-11
    scrapy 代理ip池结构简介

    互联网时代,从事爬虫工作的人非常多,经常使用爬虫的网络用户应该听过scrapy ,它是一个快速,高层次的屏幕抓取和web抓取框架,

  • 16 2018-12
    代理ip为什么能保护隐私?

    很多朋友都用过代理ip,也都知道代理IP能够切换IP,那么代理ip能保护隐私吗?

  • 30 2019-09
    动态ip代理​的作用!

    动态ip代理​的作用!经常使用网络的人可能会常常听到这样的一个词:动态ip代理。那么它真正的作用很多人都是模棱两可的,在这里给大家普及一下在我们大部分人的网络活动中,动态ip是比

  • 05 2019-11
    什么时候需要用代理IP​?

    什么时候需要用代理IP​?对于经常接触网络的小伙伴来说,IP想必是大家十分熟悉的一个词汇。但是你真的对HTTP代理IP了解吗?今天小编来简单普及一下关于HTTP代理IP的相关小常识,让大家更明确

在线客服

QQ资讯

上班时间