scrapy基本使用--爬取图书首页
- 务必安装
pip install scrapy -i + 镜像源
- 使用scrpay创建爬虫项目(终端创建):
- 1.创建项目:scrapy startproject BOOK
2.进入项目:cd BOOK
3.创建爬虫:scrapy genspider book jd.com
4.运行爬虫:scrapy crawl book - 打开pycharm 找到你创建的项目 oppen
- 在settings.py文件中修改协议还有浏览器的配置
浏览器的配置
改为
6.之后进入book.py文件进行爬虫检验