原 开启Scrapy项目之旅之六：爬取数据进入数据库

1、创建一个爬虫项目

scrapy startproject mysqlpjt

2、修改items.py文件

#建立name存储网页标题
name=scrapy.Field()
#建立keywd存储网页标题
keywd=scrapy.Field()

3、修改pipelines.py文件（连接数据库关键）

4、设置settings.py启用pipelines

5、创建爬虫文件(crawl模板)

scrapy genspider -t crawl weiwei sina.com.cn

crawl模板自动进行链接的爬取

6、编写爬虫文件weiwie.py

7、运行命令，查看是否成功
如果出现UnicodeEncodeError问题
通过修改pymysql模块的connections.py文件
将charset=utf-8即可

scrapy crawl weiwei --nolog

ctrl+c停止运行