Scrapy架构图 + Scrapy的运作流程 + 制作Scrapy爬虫步骤
Scrapy架构图
Scrapy的运作流程：
注意： 只有当调度器中不存在任何request, 整个程序才会停止。
制作Scrapy爬虫步骤:
items.py 定制抓取目标的文件
spiders/xxspider.py 编写爬虫,处理响应
pipelines.py 存储items.py定义的目标数据
为什么叫爬虫？ 说白了就是程序==蜘蛛，去寻找网上的资源。
Scrapy架构图
Scrapy的运作流程：
注意： 只有当调度器中不存在任何request, 整个程序才会停止。
制作Scrapy爬虫步骤:
items.py 定制抓取目标的文件
spiders/xxspider.py 编写爬虫,处理响应
pipelines.py 存储items.py定义的目标数据
为什么叫爬虫？ 说白了就是程序==蜘蛛，去寻找网上的资源。