使用scrapy框架搭建爬虫的方法
scrapy框架搭建爬虫的方法
1.安装scrapy框架，使用命令pip install scrapy
2.遇到如下报错信息，进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件
3.安装Twisted，pip install 后面跟的是刚才下载文件的路径
4.执行代码 （ scrapy startproject 项目名称）
5.using template director：是scrapy内置的一个框架模板
6.进入到项目文件夹中，创建爬虫文件
7.爬虫项目搭建完成，下面运行爬虫项目
8.通过cmd爬虫项目
命令：scrapy crawl baidu(爬虫名称
9。执行执行以上代码有可能会报错
只需要安装pypiwin32包即可解决，使用 pip install pypiwin32
然后再执行命令：：scrapy crawl baidu(爬虫名称)
10.或者可以在项目根目录创建debug.py文件并写上如图所示的代码，保存并运行即可启动项目