scrapy爬虫框架 (4. item的介绍和使用)

1.item介绍

在items.py的函数里定义好我们预先需要的字段,并且引用此py文件的函数后,只能使用定义好的字段

2.item使用

2.1在items.py文件里定义预先使用的字段

items.py可以有多个函数,每个函数定义不同爬虫的预先使用字段,而在pipelines处理数据时得判断是哪个函数下的字段
.scrapy爬虫框架 (4. item的介绍和使用)

2.2在爬虫文件里引用该类,注意爬虫文件里出现的字段只能是该类定义过的

先爬取传智播客的教师数据
scrapy爬虫框架 (4. item的介绍和使用)
在爬取腾讯课堂的数据
scrapy爬虫框架 (4. item的介绍和使用)

2.3在pipelines里处理数据并显示

scrapy爬虫框架 (4. item的介绍和使用)
if isinstance(数据,数据类):这个语句的作用是对不同爬虫爬取的信息进行处理

2.4结果显示

运行爬取教师信息爬虫,结果为
scrapy爬虫框架 (4. item的介绍和使用)
运行爬取腾讯课堂爬虫,结果:
scrapy爬虫框架 (4. item的介绍和使用)