scrapy框架的使用方法
1.第一步：创建爬虫项目
2.使用pycharm打开爬虫项目
打开结果如下(目录结构):
3.第三步：创建爬虫
说明：在ivskyspider文件中创建，所以需要先进入ivskyspider
说明:一个项目可以创建多个爬虫文件
4.第四步：打开新建的爬虫文件ivsky.py
文件结构如下：
5.
执行代码：
方法一：
打开Teminal
方法二：
在第一个IvskySpider的位置新建文件
不想在终端运行程序时，先新建此文件，然后运行
from scrapy import cmdline
cmdline.execute(['scrapy', 'crawl', 'ivsky'])
爬取数据：
scrapy的基本用法
1. 通过命令创建项目
scrapy startproject 项目名称
2. 用pycharm打开项目
3. 通过命令创建爬虫
scrapy genspider 爬虫名称 域名
4. 配置settings
robots_obey=False
Download_delay=0.5
Cookie_enable=False
5. 自定义UserAgentMiddleWare
可以直接粘现成的
或者自己通过研究源码实现
6. 开始解析数据
1) 先大致规划一下需要几个函数
2) 函数1跳转到函数2使用 yield scrapy.Request(url,callback,meta,dont_filter)
7. 将数据封装到items,记得yield item
8. 自定义pipelines将数据存储到数据库/文件中
1. 通过命令创建项目
scrapy startproject 项目名称
2. 用pycharm打开项目
3. 通过命令创建爬虫
scrapy genspider 爬虫名称 域名
4. 配置settings
robots_obey=False
Download_delay=0.5
Cookie_enable=False
5. 自定义UserAgentMiddleWare
可以直接粘现成的
或者自己通过研究源码实现
6. 开始解析数据
1) 先大致规划一下需要几个函数
2) 函数1跳转到函数2使用 yield scrapy.Request(url,callback,meta,dont_filter)
7. 将数据封装到items,记得yield item
8. 自定义pipelines将数据存储到数据库/文件中