selenium模拟用户操作浏览器
selenium,有一个强大的python库。能做什么呢?
一般等网页版qq邮箱,首先是打开登录界面,然后输入账号密码,点击登录,就完成了登录。
而用selenium,则可以完成这些操作,就像是人在操作一样。
先安装pip install selenium
然后安装浏览器驱动https://localprod.pandateacher.com/python-manuscript/crawler-html/chromedriver/ChromeDriver.html
这个就是一般操作,对于元素的提取
上面是提取单个元素
下面是提取多个元素
还有就是,这样操作,浏览器会真的打开,又关闭。
有一种静默模式,浏览器不会打开,默默的完成这些操作。
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options = chrome_options)#将浏览器设置为静默模式
selenium还能和BeautifulSoup搭配使用
response.text = driver.page_source #获取网页源码
然后就是熟悉的BeautifulSoup操作了