您的位置:首页 >文章内容
爬虫如何实现http代理
来源: 作者:admin 时间:2018-11-14 17:17:29

随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活、工作不可或缺的一部分。说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。那么python 如何实现http代理呢?请看下面的代码。

  import socket

  import threading

  class ProxyServer():

  def __init__(self):

  self.ListenSock = socket()

  self.ListenSock.bind()

  self.Clients = []

  def listen_thread(self):

  self.ListenSock.listen()

  while(1):

  self.Clients.append(ProxyClient(self.ListenSock.accpet())

  def start_work(self):

  start listen_thread

  while(1):

  #从内存中踢出已经断开的连接

  for i in self.client:

  if i not alive:

  self.clients.remove(i)

  上面伪代码中的ProxyClient就是处理每个客户端的类

  class ProxyClient():

  def __init__(self, Csock):

  self.Csock = Csock

  self.Rsock = None

  start request_process_thread

  def request_process_thread(self):

  while(1):

  req = self.Csock.recv()

  #客户端断开了

  if req == '':

  return

  #从请求中获得客户端想要访问的地址

  addr = get addr from req

  if self.Rsock == None:

  self.Rsock.connect(addr)

  #把客户端的请求转出去

  self.Rscok.send(req)

  #开启接受web data的线程,把web data转发给客户端

  start recv_web_data_thread

  else:

  #如果连接已经建立就不要再去创建新的

  self.Rsock.send(req)

  def recv_web_data_thread(self):

  while(1):

  data = self.Rsock.recv()

  if data=='':

  return

  #把web data转发给客户端

  self.Csock.send(data)


 这就是小编带来的分享了,程序员大牛可以试试效果哦。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 13 2019-08
    代理IP在使用过程中经常会遇到哪些错误

    ​在在日常工作中,有的网站打不开,受到了限制,这可以用代理IP来访问。使用代理IP的过程中,经常会遇到一些问题,可能一夜醒来,发现代理IP全都不能用了,也有可能就吃了个中午饭,下

  • 02 2018-11
    防火墙和代理服务器之间的区别

    前面的文章中,小编介绍了很多有关代理服务器的知识,今天给大家介绍一下代理服务器和我们常说的“防火墙”之间的区别,请看下面的介绍

  • 08 2019-05
    哪里有西安的代理IP

    ​不知道大家发现没有,在浏览某些网站或者论坛是可以清清楚楚的看到自己的IP地址,显然你已经被”记录在案”了。不仅如此,有些比较懂电脑的朋友也可以通过QQ等聊天通讯软件看到你的IP

  • 24 2018-10
在线客服

QQ资讯

上班时间