爬虫Scarpy框架的介绍——(一)

scrapy框架介绍:利用别人已经封装好的方法,让爬虫更快,更强。并且是异步网络框架,加快下载速度,这里首先回顾一下同步和异步网络框架
爬虫Scarpy框架的介绍——(一)
接下来介绍scrapy网络框架,并对比之前的爬虫流程
爬虫Scarpy框架的介绍——(一)
爬虫Scarpy框架的介绍——(一)
爬虫Scarpy框架的介绍——(一)
在创建scrapy框架的时候,并不是上图所有的节点部分都要写代码,要写代码的部分只要三块,分别是spiders,pipeline和intems块。
爬虫Scarpy框架的介绍——(一)
接下来就介绍创建scrapy框架。通过外部命令行的方式直接创建scarpy矿建的项目和名称。通过选中要放置的文件夹,按住shift键和鼠标右键,然后单击鼠标右键,通过点击“在此处打开命令窗口”的方式就相当于直接在该文件夹下创建scrapy框架结果。
然后直接在命令行通过dos命令的方式
爬虫Scarpy框架的介绍——(一)
然后通过pycharm查看该文件,已经在charm中可以显示
爬虫Scarpy框架的介绍——(一)
其中需要写代码的部分就是上述提到的那三个部分。接下来就是需要掌握如何运行程序,仍然是通过cmd命令行去实现,具体如下

爬虫Scarpy框架的介绍——(一)
对于报错,这里有特定的方式:
爬虫Scarpy框架的介绍——(一)