Ajax动态网页的信息抓取（入门）

背景：
不知道你们在学习网络爬虫过程中是否遇到过这样的问题，那就是在使用requests抓取页面信息的时候，抓取的结果和在浏览器上看到的不一样。浏览器中显示正常的页面数据，但是抓取的却是没有具体数据或者说只是首界面的源码。那就是因为现在很多Web页面的原始HTML页面不会包含任何数据，数据都是通过Ajax统一加载出来再呈现出来的，这样Web就可以做到前后端的分离，而且降低了服务器直接渲染页面带来的压力。举个例子，我们的微博页面，当你一直往下滑的时候内容就加载完了，页面没有刷新，链接也没有变化，但是等待加载圈加载几秒又出现了新的内容，其实这就是Ajax加载的过程。下面我们就从一个入门的案例来实现Ajax数据的抓取，我们模仿requests模拟Ajax请求就可以抓去了。

1.找到我们的目标网站-肯德基的门面查询网址（查询的成都为例）：
http://www.kfc.com.cn/kfccda/storelist/index.aspx
首先打开网址然后选择开发者模式，查看network,并勾选preserve log选项，因为Ajax 请求的类型为xhr,故勾选xhr选项，然后刷新就可以看都请求信息。然后拉到页面下方不断选择下一页，会发现新的Ajax请求不断出现:

2.这样我们就抓取到了很多Ajax请求，这就是新的信息呈现前Javascript向服务器发送的请求，随便点开一个查看详情：

3.可以看出Request Method为POST，在请求头中X-Request-With为XMLHttpRequest,这就是Ajax请求的标记。查询其他的Ajax请求发现最后的 From Data中pageIndex 分别为1、2、3……而Pagesize却没有发生变化。所以不难判定PageIndex是页数参数，改变其值就可以实现翻页。

4.准备用程序的方式来实现信息的爬取，所以先思考爬取一页的必要信息的程序实现，翻页就通过循环改变参数就可以了：

肯德基店铺网页信息爬取完，其实并不代表你已经能解决所有ajax动态网页了，这个只是入门体会整个过程，是比较简单的。因为表单(from data)的数据并没有进行加密，一旦这些进行加密的话你就得找js分析加密方法。寻找加密方法有时会比较困难，但是如果你收到了爬取信息的快乐，这一定增加了你对爬虫的兴趣，所有有助于后面进一步深入学习，后面可以尝试对新浪微博的网页进行信息抓取哦。