UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

在做文本词频统计的时候遇到的问题,弄了1个小时也没找到解决方法,在偶然的一次试一试,居然成功解决了这个问题。


一般情况下是这样是可以直接没问题的:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence


出现问题时:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence




一般情况下解决方式(网上绝大部分):

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence



但是出现这种情况:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

此时我们输入encoding='16'  问题就解决了。

但是很快我们会发现这个还是不行。在切换其他编码格式再用utf-16时还是不行。

那么终级办法和最直接有效的办法就是用notepad++打开要处理的文本,强制转换成utf-8编码格式,然后 就成功解决了编码问题。