Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

解决办法在文末


问题:

  • 第一页和第二页网址相同(不变)

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

  • XHR中包含网页信息的文件链接地址相同(不变)

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

分析:

点开上图中的.ashx文件(注意:此文件包含网页信息,别的网站可能为js文件)发现,文件中含有字段:PageCount和pageIndex,分别代表总页数和当前页

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

单击.ashx文件查看请求头,可以看到 Form Data数据

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

可点击'view source'改变Form Data展示

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

解决办法:

? 将Form Data数据拼接到.ashx文件的链接中

Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法

改变链接中pageIndex的值即可实现跳转