python奇怪的xpath bug举例分析

这篇文章主要讲解了“python奇怪的xpath bug举例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“python奇怪的xpath bug举例分析”吧!

爬取链家某单个页面遇到的奇怪bug

以下内容报错:

import urllib.request 
import urllib.parse
import user_agent
import lxml.etree as le 
import tool 
import pandas as pd


request = urllib.request.Request(
    url='https://zz.lianjia.com/ditiezufang/li110460711s3320024453090127/rt200600000001/',
    headers={'User-Agent':user_agent.get_user_agent_pc()}
)

response = urllib.request.urlopen(request)

data = le.HTML(response.read()).xpath('//div[@class="content__list"]//div[@class="content__list--item"][1]//text()')
data1 = le.HTML(response.read()).xpath('//div[@class="content__list"]//div[@class="content__list--item"][2]//text()')
print(data)
print(data1)

以下内容不报错:

import urllib.request 
import urllib.parse
import user_agent
import lxml.etree as le 
import tool 
import pandas as pd


request = urllib.request.Request(
    url='https://zz.lianjia.com/ditiezufang/li110460711s3320024453090127/rt200600000001/',
    headers={'User-Agent':user_agent.get_user_agent_pc()}
)

response = urllib.request.urlopen(request)
html_x = le.HTML(response.read())
data = html_x.xpath('//div[@class="content__list"]//div[@class="content__list--item"][1]//text()')
data1 = html_x.xpath('//div[@class="content__list"]//div[@class="content__list--item"][2]//text()')
print(data)
print(data1)

感谢各位的阅读,以上就是“python奇怪的xpath bug举例分析”的内容了,经过本文的学习后,相信大家对python奇怪的xpath bug举例分析这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!