" name="sm-site-verification"/>
侧边栏壁纸
博主头像
PySuper博主等级

千里之行,始于足下

  • 累计撰写 203 篇文章
  • 累计创建 14 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

代理池实现原理

PySuper
2019-11-05 / 0 评论 / 0 点赞 / 13 阅读 / 1965 字
温馨提示:
所有牛逼的人都有一段苦逼的岁月。 但是你只要像SB一样去坚持,终将牛逼!!! ✊✊✊

代理池实现

自己搭建代理池最好先了解下:ScrapyRedisFlask,这里也就从这个开始给大家说说。

代理池实现原理

  • 使用生产-消费模式
  • 为了保证代理可用,测试代理
  • 最后使用Flask项目去提供代理
![代理池实现原理](http://qny.zhengxingtao.com/media/images/index37_4.png)

代理使用过程

![代理使用过程](http://qny.zhengxingtao.com/media/images/index37_1.png)

正向代理和反向代理

![正向代理和反向代理的区别](http://qny.zhengxingtao.com/media/images/index37_2.png)

抓取代理

其实我们可以使用自己写的爬虫,也可以使用Scrapy框架写的爬虫项目来抓取代理,然后写入Redis

  • 我们在使用自己手写的Spider里面,可以外部调用一个脚本直接把数据写入数据库
  • 但是我们在使用Scrapy框架的时候,我们可以吧Redis配置信息写道settings.py文件中
0
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区