使用爬虫爬取数据时遇到需要展开的文字怎么处理
大概思路是当解析出来的短评内容不全的时候,就把这条短评的 id 找到,然后组装成 url 发送请求,获取完整的内容,就可以了。或者也可以用 webdriver 来解决。
使用Chrome浏览器F12打开开发者模式,转到Network这一栏先把请求清空,然后点击展开按钮。
大概思路是当解析出来的短评内容不全的时候,就把这条短评的 id 找到,然后组装成 url 发送请求,获取完整的内容,就可以了。或者也可以用 webdriver 来解决。
使用Chrome浏览器F12打开开发者模式,转到Network这一栏先把请求清空,然后点击展开按钮。