scrapy基本使用--爬取图书首页

  1. 务必安装 pip install scrapy -i + 镜像源
  2. 使用scrpay创建爬虫项目(终端创建):
  3. 1.创建项目:scrapy startproject BOOK
    2.进入项目:cd BOOK
    3.创建爬虫:scrapy genspider book jd.com
    4.运行爬虫:scrapy crawl book
  4. 打开pycharm 找到你创建的项目 oppen
    scrapy基本使用--爬取图书首页
  5. 在settings.py文件中修改协议还有浏览器的配置
    scrapy基本使用--爬取图书首页浏览器的配置
    scrapy基本使用--爬取图书首页
    改为
    scrapy基本使用--爬取图书首页

scrapy基本使用--爬取图书首页

6.之后进入book.py文件进行爬虫检验
scrapy基本使用--爬取图书首页