代理池实现原理

代理池实现

自己搭建代理池最好先了解下：Scrapy、Redis、Flask，这里也就从这个开始给大家说说。

代理池实现原理

• 使用生产-消费模式
• 为了保证代理可用，测试代理
• 最后使用Flask项目去提供代理

代理使用过程

正向代理和反向代理

抓取代理

其实我们可以使用自己写的爬虫，也可以使用Scrapy框架写的爬虫项目来抓取代理，然后写入Redis

• 我们在使用自己手写的Spider里面，可以外部调用一个脚本直接把数据写入数据库
• 但是我们在使用Scrapy框架的时候，我们可以吧Redis配置信息写道settings.py文件中