使用 scrapy 爬取妹子壁纸图(新手)

1. 创建 scrapy 爬虫项目，cmd 命令行输入 scrapy startproject bizhi：

2.创建 crawl 爬虫：

3.打开 img 爬虫文件，如下：

首先定义爬取规则
1.第一个 Rule 是首页，用于进行分页爬取，即url 只要符合 .+index.+.html 的规则，就进行跟进，follow 为 True 就是跟进
2.第二个 Rule 是详情页，在首页中找到符合 .+tupian.+.html 规则的 url 就 进行爬取，爬取图片的函数为 parse_detail，在详情页就不进行跟进了，以免爬取到相同的图片，虽然 scrapy 框架有去重的功能
然后获取图片的名字及图片下载地址

代码如下：

ImagePipeline 如下：

需要重写父类的 get_media_requests 和 file_path 方法
1.get_media_requests 获取 item 项，并和 request 绑定
2.file_path 更改文件下载路径及图片名字

setting 如下：