创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

安装Scrapy框架

1.利用pip工具安装
2.利用pycharm在线安装

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

创建爬虫项目

进入命令模式

在自己需要的地方创建项目
语法:scrapy startproject 项目名

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)创建成功
创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

pycharm中导入文件

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

基本配置文件

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

生成一个爬虫

scrapy genspider example(项目名) example.com(爬虫范围)

1.进入myscrapy文件中

cd myscrapy

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

2.创建爬虫

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)
创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)

启动爬虫项目

方法一

通过pycharm的Terminal

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)
进入项目文件夹,输入指定

scrapy crawl 项目文件

创建及其启动一个基于Scrapy框架的爬虫程序(创建和启动)