Python爬虫的5个小实例
- 如何获取京东商品页面信息
京东允许爬虫获取可见信息
代码如下
以iphone11为例子，结果如下
如何爬取亚马逊商品页面
代码如下，结果如下
结果失败了，我们继续查看我们发出的request的头部信息。
在user-agent一处，被查出来是requests库的请求，而亚马逊不允许此请求。我们修改头部信息为morilla /5.0的请求，这个morilla /5.0浏览器算是标准的浏览器。
修改之后成功爬取
如何爬取图片
先获取图片地址，代码如下
content代表二进制，因为图片是以二进制存储的，with open 中的文件如果不存在，它会自动创造一个。结果如下
如何自动搜索关键词
百度查询接口：http://www.baidu.com/s?wd=keyword
360查询接口： http://www.so.com/s?q=keyword
代码如下
可以看到，通过get，获取到查询接口，返回结果的长度在30k左右
如何获取IP地址的归属
需要拥有Ip库，但是python并不带有ip库，可以通过IP138网站查询。
IP138的查询接口：http://m.ip138.com/if.asp?ip=ipaddress
代码如下
结果如下，可以看到这个IP属于清华大学官网