UnicodeEncodeError：'charmap'编解码器无法编码字符

Question

我想刮一个网站，但它给了我一个错误。

我用下面的代码：

import urllib.request 
from bs4 import BeautifulSoup 

get = urllib.request.urlopen("https://www.website.com/") 
html = get.read() 

soup = BeautifulSoup(html) 

print(soup) 

而且我发现了以下错误：

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode 
    return codecs.charmap_encode(input,self.errors,encoding_table)[0] 
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> 

我能做些什么来解决这个问题？

Answer 1

我通过将.encode("utf-8")加到soup来修复它。

这意味着print(soup)变为print(soup.encode("utf-8"))。

Answer 2

对于仍然出现此错误的人，将encode("ascii")添加到soup也会解决此问题。

soup = BeautifulSoup(html_doc, 'html.parser').encode("ascii") 
print(soup) 

Answer 3

刮保存网页内容到一个文件时，我得到了相同的UnicodeEncodeError。要解决它，我更换验证码：

with open(fname, "w") as f: 
    f.write(html) 

与此：

import io 
with io.open(fname, "w", encoding="utf-8") as f: 
    f.write(html) 

使用io为您提供向后兼容性与Python 2.如果你只需要支持Python 3中，你可以使用内置open功能代替。