爬虫学习记录 ----持续更新
本博文主要记录一些在学习爬虫过程遇到的一些小技巧
============================================================================
2、传递URL参数(此内容转摘自 https://blog.****.net/kangyan__/article/details/78506243 )
例如, httpbin.org/get?key=val
- 想传递
key1=value1
和key2=value2
到httpbin.org/get
代码如下:
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
运行结果如下:
http://httpbin.org/get?key1=value1&key2=value2
- 还可以将一个列表作为值传入:
import requests
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
运行结果如下:
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
============================================================================
1、用chrome查看审查元素
以"豆瓣电影 Top 250"网页为例,网址:https://movie.douban.com/top250
用chrome打开网址,有两种方式打开审查元素:
①按“F12”键,点"Elements",点左上角的箭头,箭头变蓝后点击左侧页面的网页内容,Elements就会跳转至相应的位置
②快捷组合键“Ctrl+Shift+c”可直接开启审查元素功能,如下图:
再次按“F12”即可关闭审查元素页面。