Scrapy爬虫爬取书籍网站信息（一）

本文运用了Scrapy爬虫的知识，爬取了点击打开链接网站中的书籍信息，可以了解到基本Scrapy爬虫框架的使用方法。

一、项目需求：

     1、其中每本书的信息包括：书名、价格、评价等级、产品编码、库存量、评价数量。

     2、将爬取的结果保存到csv文件中。

二、在前期分析网页页面时，可以用Chrome开发者工具，也可以用scrapy shell<URL>命令，如下：

Chrome开发者工具这里不做介绍了，第二种方法在命令提示符下输入scrapy shell<URL>即可在交互式命令下操作一个Scrapy爬虫，如：scrapy shell http://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html，（这里操作的是第一本书籍的页面），部分截图如下：

接下来，在scrapy shell中调用view函数，在浏览器中显示response所包含的页面：即输入：view（response）

在进行页面分析时，使用view函数打开的页面要比使用Chrome审查元素工具更加可靠。如下图：

********************************************************************************************************************************

分析完书籍页面后，接着分析如何在书籍列表页面中提取每一本书籍页面的链接。在scrapy shell中，先调用fetch函数下载第一个书籍列表页面（http://books.toscrape.com/),下载完后再调用view函数在浏览器中查看页面。

到此，页面分析工作已经完成了。