BeautifulSoup - 删除MS Word特定标签?
问题描述:
我有从MS Word保存的html文档,现在它有一些与MS Word相关的标签。我不需要保持向后兼容性,我只需要从该文件中提取内容。问题在于特定于文字的标签不会轻易删除。BeautifulSoup - 删除MS Word特定标签?
我有这样的代码:
from bs4 import BeautifulSoup, NavigableString
def strip_tags(html, invalid_tags):
soup = BeautifulSoup(html)
for tag in soup.findAll(True):
if tag.name in invalid_tags:
s = ""
for c in tag.contents:
if not isinstance(c, NavigableString):
c = strip_tags(unicode(c), invalid_tags)
s += unicode(c)
tag.replaceWith(s)
return soup
将删除不需要它的标签。但是有些甚至在使用这种方法后仍然存在。 例如看看这个:
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">Some text -
some content<o:p></o:p></SPAN></P>
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text2 -
647894654<o:p></o:p></SPAN></P>
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text3 -
some content blabla<o:p></o:p></SPAN></P>
这是怎么看的HTML文档中。当我使用这样的方法:
invalid_tags = ['span']
stripped = strip_tags(html_file, invalid)
print stripped
它打印这样的:
<p class="MsoNormal">Some text -
some content<html><body><o:p></o:p></body></html></p>
<p class="MsoNormal">some text2 -
647894654<html><body><o:p></o:p></body></html></p>
<p class="MsoNormal">some text3 -
some content blabla<html><body><o:p></o:p></body></html></p>
正如你可以看到某种原因html
和body
标签出现在那里,即使在HTML它不存在。如果我添加invalid_tags = ['span', 'o:p']
,它将删除<o:p></o:p>
标记,但如果添加删除html或body标记,则它不会执行任何操作,并且它仍保留在那里。
P.S.如果我直接更改要查找标签的位置,我可以在那里删除html
标签。例如,通过在方法中添加此行(在使用findAll
之前)soup = soup.body
。但在此之后,body
标签仍被悬挂在这些特定段落中。
答
你可以试试这个:
from bs4 import BeautifulSoup
def strip_tags(html, invalid_tags):
soup = BeautifulSoup(html)
for t in invalid_tags:
tag = soup.find_all(t)
if tag:
for item in tag:
item.unwrap()
return str(soup)
,那么你只需要剥去html和body标签。
谁能告诉我为什么在我的Python代码中看不到语法高亮? – xcaptain 2014-10-08 08:39:21
它做同样的事情。 – Andrius 2014-10-08 08:40:19
我不知道你的目的是什么。当我用你的html执行strip_tags(html,['span','o:p'])时,我可以去掉这些标签。 – xcaptain 2014-10-08 08:49:55