Day 20/100 Python如何解析网页数据

先说答案，需要使用BeautifulSoup库

需要安装，否则会报错（报错如下）

pycharm报错ModuleNotFoundError: No module named 'bs4'

1、安装BeautifulSoup，命令如下

pip install BeautifulSoup

 

2、安装成功后，使用BeautifulSoup，再次封装，获取具体标签内的内容

bs = BeautifulSoup(result,'html.parser')

 

 3、具体标签，可以尝试打印解析后的数据

print(bs.span)

如果可以正常，打印出网页数据中span标签的内容，则说明正确；

（前提是网页中有span标签）

 

4、获取目标数据所在的标签

#获取已爬取内容中的a标签内容

data=bs.find_all('a')

 

5、打印显示出，所有a标签的网页数据

for j in data:

     print(j.text)

 

6、打印结果如下：

 

获取到目标位置的网址数据

 

7、核心代码截图如下

 

 

以上

 

参考链接：

https://blog.****.net/qq_38402659/article/details/102128608

https://www.cnblogs.com/chenting123456789/p/11840740.html