UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence
在做文本词频统计的时候遇到的问题,弄了1个小时也没找到解决方法,在偶然的一次试一试,居然成功解决了这个问题。
一般情况下是这样是可以直接没问题的:
出现问题时:
一般情况下解决方式(网上绝大部分):
但是出现这种情况:
此时我们输入encoding='16' 问题就解决了。
但是很快我们会发现这个还是不行。在切换其他编码格式再用utf-16时还是不行。
那么终级办法和最直接有效的办法就是用notepad++打开要处理的文本,强制转换成utf-8编码格式,然后 就成功解决了编码问题。