百度信用爬取的一点总结

详细过程

模型主要分为3个步骤：
1、IP池的定期维护
2、企业信用代码爬取转换为接口唯一ID标识（不需要定时执行，一次即可）
3、根据接口ID爬取具体数据（定期爬取）

1 代理池

文件：proxyPool.py
该代码为Github上的开源代码，定时爬取以下几个网址的免费代理IP，并放入Redis库，之所以用Redis是因为IP池里的IP需要频繁读写和维护，Redis作为NOSQL数据库，响应速度较快，且可移植性较高

2 过程中遇到的问题总结

第一版代码并未加入多进程，爬取速度较慢，但加入多进程之后带来了一些新的问题，在此总结一下，以便后期复盘

2.1. 多进程之间的通信

进程之间是相互独立的，但需要使用同一个IP池，为了解决进程间的通信问题，加入了Queue(队列)，多个进程共用，用一个删一个。

2.2. 数据的存储

按照原来的方式存储数据会存在，多个进程同时操作同一个文件，导致数据丢失的情况。
解决方式有：
1）加进程锁，但是加锁一般会完造成程序的执行效率下降
2）使用multiprocessing的回调函数。把写入操作抽象为单独的一个函数，把进程需要写入的内容，作为返回值返回，使用回调函数写入进程返回内容。
经测试，方式2 效率更高