python爬虫备忘(2)

今天学习beautifulsoup的安装与使用,写一篇学习备忘录。

首先在命令行运行 pip install beautifulsoup4 即可完成安装。

检测库是否安装成功。

python爬虫备忘(2)

python爬虫备忘(2)

可以有两种方式为bs4提供内容。

python爬虫备忘(2)

元素类型

python爬虫备忘(2)

任何一个html标签都可以通过soup.tag返回,当存在多个标签时,返回第一个。

python爬虫备忘(2)

可以使用.name的方式获取标签的名字,得到字符串形式。

python爬虫备忘(2)

使用attrs返回标签的属性,以字典的形式,并且标签被定义了一种新的类型。

python爬虫备忘(2)

string返回标签中的纯文字部分。

python爬虫备忘(2)

使用bs4可以对html的标签树进行遍历,包括上行遍历,下行遍历和平行遍历。

python爬虫备忘(2)

python爬虫备忘(2)

contents以列表的形式返回,并且可以用访问列表的方式来访问。而另外两种方法返回迭代类型,只能通过for in的方式遍历

python爬虫备忘(2)

python爬虫备忘(2)python爬虫备忘(2)

soup的父亲没有显示。


在平行遍历下,两个平行元素必然有一个父亲,否则不构成平行关系。值得注意的是,string类型也可能作为平行元素出现在结果中,所以下一个平行元素不一定是标签类型。

python爬虫备忘(2)