您的位置:首页 >文章内容
爬虫如何实现http代理
来源: 作者:admin 时间:2018-11-14 17:17:29

随着现在社会的境界快速发展,网络的发展也是日新月异,经济社会逐渐走向了信息社会,网络社会。网络渗透到人们的生活和工作的方方面面,代理IP也成为了人们生活、工作不可或缺的一部分。说到代理其实代理的意思就跟带话差不多,比如说,A要跟C通信,但是没有通信渠道,这个时候就需要一个A与C之间的连接,来帮助传话,这个原理明白了,实现代理就简单易懂了。那么python 如何实现http代理呢?请看下面的代码。

  import socket

  import threading

  class ProxyServer():

  def __init__(self):

  self.ListenSock = socket()

  self.ListenSock.bind()

  self.Clients = []

  def listen_thread(self):

  self.ListenSock.listen()

  while(1):

  self.Clients.append(ProxyClient(self.ListenSock.accpet())

  def start_work(self):

  start listen_thread

  while(1):

  #从内存中踢出已经断开的连接

  for i in self.client:

  if i not alive:

  self.clients.remove(i)

  上面伪代码中的ProxyClient就是处理每个客户端的类

  class ProxyClient():

  def __init__(self, Csock):

  self.Csock = Csock

  self.Rsock = None

  start request_process_thread

  def request_process_thread(self):

  while(1):

  req = self.Csock.recv()

  #客户端断开了

  if req == '':

  return

  #从请求中获得客户端想要访问的地址

  addr = get addr from req

  if self.Rsock == None:

  self.Rsock.connect(addr)

  #把客户端的请求转出去

  self.Rscok.send(req)

  #开启接受web data的线程,把web data转发给客户端

  start recv_web_data_thread

  else:

  #如果连接已经建立就不要再去创建新的

  self.Rsock.send(req)

  def recv_web_data_thread(self):

  while(1):

  data = self.Rsock.recv()

  if data=='':

  return

  #把web data转发给客户端

  self.Csock.send(data)


 这就是小编带来的分享了,程序员大牛可以试试效果哦。


按字母排序文章
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
相关文章内容简介更多>>
最新标签
推荐阅读
  • 05 2018-09
    代理ip软件哪个比较好用

    不知道大家有没有遇到过“访问频率太高”这样的网站提示,我们需要等待一段时间或者输入一个验证码才能解封,但这样的情况之后还是会出现。

  • 15 2018-11
    使用免费代理IP有风险吗?

    在这个互联网时代,代理ip已经不是个很新鲜的词了,很多场景都在使用,有免费的和付费的两种

  • 23 2018-11
    如何给eclipse设置代理服务器

    默认的Eclipse 是不用代理上网,但在一些公司的局域网,需要使用代理上网,因而需要手工设置eclipse的上网设置,这里给大家介绍三种办法

  • 24 2018-11
    代理ip加速器是什么?

    互联网时代发展很快,随着网络代理IP的出现,加速器也随着进入人们的视野,代理IP大家都了解,那么代理ip加速器是什么呢?请看下面介绍。

在线客服

QQ资讯

上班时间