京东和亚马逊商品页面的爬取
京东商品页面的爬取
爬取的网页如下
爬取网页的相关代码及结果如下
全代码
亚马逊商品页面的爬取
爬取如下的页面
输入上面京东页面的程序，代码及结果如下
r.status_code不是200，说明有错，再将r.apparent_encoding取代r.encoding，用来显示内容。可以看到有红色一句，说明服务器对爬虫有检测
下面用headers检查头，显示如下
可以看到爬虫如实的告诉服务器自己是一个网络爬虫，因此可以修改头，以模拟浏览器访问服务器，修改方法以及效果如下
成功~