python爬虫中lxml怎么使用?

这篇文章主要介绍python爬虫中lxml怎么使用?,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

首先我们利用它来解析 HTML 代码,先来一个小例子来感受一下它的基本用法。

from lxml import etree
text = '''
<div>
    <ul>
         <li><a href="link1.html">first item</a></li>
         <li><a href="link2.html">second item</a></li>
         <li><a href="link3.html">third item</a></li>
         <li><a href="link4.html">fourth item</a></li>
         <li><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result)

首先我们使用 lxml 的 etree 库,然后利用 etree.HTML 初始化,然后我们将其打印出来。 其中,这里体现了 lxml 的一个非常实用的功能就是自动修正 html 代码,大家应该注意到了,最后一个 li 标签,其实我把尾标签删掉了,是不闭合的。不过,lxml 因为继承了 libxml2 的特性,具有自动修正 HTML 代码的功能。 所以输出结果是这样的

<html><body>
<div>
    <ul>
         <li><a href="link1.html">first item</a></li>
         <li><a href="link2.html">second item</a></li>
         <li><a href="link3.html">third item</a></li>
         <li><a href="link4.html">fourth item</a></li>
         <li><a href="link5.html">fifth item</a></li>
</ul>
 </div>
 
</body></html>

不仅补全了 li 标签,还添加了 body,html 标签。

以上是python爬虫中lxml怎么使用?的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!