爬虫scrapy：下载图片项目

使用scrapy的ImagesPipeline这个类来做图片下载
使用步骤：
1、在settings.py中配置item_pipelines
打开:
ITEM_PIPELINES = {
‘scrapy.pipelines.images.ImagesPipeline’: 300,
}
添加：
文件保存在哪里：
IMAGES_STORE = ‘images’
#指定这个配置后，会出现3张图，一张原图，两张指定大小图
IMAGES_THUMBS = {
‘big’ :(270,270),
‘small’ :(100,100)
}
在scrapy的spider中，任何一个parse方法返回（yield/return）的内容有两个，一个是item，一个是request对象
前者会被pipelines接收，后者会被scrapy引擎发送给调度加入调度队列。
1、创建项目和spider文件
2、配置setting： ‘scrapy.pipelines.images.ImagesPipeline’

按住shift两次就可以搜索进入这个类

3、分析url:
1、ajax请求的url拿出来对比看看哪里变化，看=后面的变不变，前面的是键不管。
2、拿出一下对比有哪些值是变化的


4、添加cookie

5、将获取到的数据返回给ImagesPipeline这个类

这种情况是本次url携带下个url的信息，赋值重新下载response调用自己