scrapy爬虫-学习笔记之数据处理篇
1.items类的应用
在item类中定义数据字典
这和类主要用于处理数据的结构类型
2.在pipline(拦截item,并将item数据保存到数据库中)中定义图片下载并且在setting文件中修改配置
这个类主要用于针对获取到数据的处理,例如写入mysql,下载图片地址等
3.连接mysql
下载mysqlclient
1.items类的应用
在item类中定义数据字典
这和类主要用于处理数据的结构类型
2.在pipline(拦截item,并将item数据保存到数据库中)中定义图片下载并且在setting文件中修改配置
这个类主要用于针对获取到数据的处理,例如写入mysql,下载图片地址等
3.连接mysql
下载mysqlclient