您的位置:首页 >文章内容
爬虫如何实现http代理
来源: 作者:admin 时间:2018-11-14 17:17:29

随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活、工作不可或缺的一部分。说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。那么python 如何实现http代理呢?请看下面的代码。

  import socket

  import threading

  class ProxyServer():

  def __init__(self):

  self.ListenSock = socket()

  self.ListenSock.bind()

  self.Clients = []

  def listen_thread(self):

  self.ListenSock.listen()

  while(1):

  self.Clients.append(ProxyClient(self.ListenSock.accpet())

  def start_work(self):

  start listen_thread

  while(1):

  #从内存中踢出已经断开的连接

  for i in self.client:

  if i not alive:

  self.clients.remove(i)

  上面伪代码中的ProxyClient就是处理每个客户端的类

  class ProxyClient():

  def __init__(self, Csock):

  self.Csock = Csock

  self.Rsock = None

  start request_process_thread

  def request_process_thread(self):

  while(1):

  req = self.Csock.recv()

  #客户端断开了

  if req == '':

  return

  #从请求中获得客户端想要访问的地址

  addr = get addr from req

  if self.Rsock == None:

  self.Rsock.connect(addr)

  #把客户端的请求转出去

  self.Rscok.send(req)

  #开启接受web data的线程,把web data转发给客户端

  start recv_web_data_thread

  else:

  #如果连接已经建立就不要再去创建新的

  self.Rsock.send(req)

  def recv_web_data_thread(self):

  while(1):

  data = self.Rsock.recv()

  if data=='':

  return

  #把web data转发给客户端

  self.Csock.send(data)


 这就是小编带来的分享了,程序员大牛可以试试效果哦。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 23 2018-11
    HTTP代理与SOCKS代理一样吗?

    大家应该都听过HTTP代理与SOCKS代理,那么它们一样吗?有什么区别呢?请看下面的介绍

  • 10 2018-10
    IP代理的作用是什么

    使用IP代理后,你上网的所有信息都是通过代理服务器转发到你的机器上的,好处就是可以让不给人知道你IP,坏处就是你网速的好坏也由IP代理服务器决定了

  • 03 2018-12
    HTTP代理和在线代理的区别

    在前面的文章中,小编给大家介绍了HTTP代理和在线代理的概念,今天给大家介绍下两者的区别。

  • 09 2019-08
    多发信息为什么要用代理IP

    用网络推广来举例子,每天要发的信息很多,工作量大如果单纯用同一个IP不变,必定会被封。所以,一个IP地址,想要发几百帖子是不可能的,都会被限制。在多发信息的时候,例如贴吧平台

在线客服

QQ资讯

上班时间