自建IP代理池反爬虫不用愁

伴随着大数据行业的迅速发展，人们对IP的需求量也日渐猛增，所以，如果要大批量的抓取信息，就不能避免的使用IP池，针对Python爬虫使用的IP池，是如何搭建起来的呢？
环境说明

为了实现代理IP池，我们如下的软件环境（列举主要部分）：

1.redis服务器，用以存放代理池相关数据

2.flask，用以实现提取单个随机代理的api

3.squid3，用以实现代理转发

组件1-获取代理ip的渠道
第一步：找IP资源
IP资源并不丰富，换句话说是供不应求的，因此一般是使用动态IP。
免费方法，直接在网络上找，在搜索引擎中一搜索特别多能够提供IP资源的网站，进行采集即可。
付费方法，通过购买芝麻代理上的IP资源，并进行提取，搭建IP池。

第二步，检测可用IP保存
提取到的IP，可以进一步进行检测是否可用，比如访问某个固定的网站，找出访问成功的IP进行保存。