网络爬虫简单实例
京东:
亚马逊:
更改了头部信息,模拟浏览器对网站进行访问
百度/360通过输入关键词获得搜索信息:
只需要将其中的keyword替换为自己搜索的关键词即可
网络图片的爬取:
将图片从url这个网址下载到本地的root的路径下
>>>import requests
>>>url = "https://himg.bdimg.com/sys/portrait/item/d8e3e794b5e88491e4babae4babae69c89e7bb8fe9aa8c6536"
>>> r = requests.get(url)
>>> r.status_code
200
>>> with open(path,'wb') as f:
f.write(r.content)
5229
>>> f.close()
ip归属地的自动查询:
www.ip138.com 提供了通过IP查询IP的归属地的功能
http://m.ip138.com/ip.asp?ip=ipaddress (ipadress就是要查询IP归属地的IP)