爬取网页是发现文本乱码问题
这两天开始学习爬虫,发现爬取网站时,爬下来的源码里面的文本内容乱码,奇怪的是有的网站没有乱码,有的网站乱码了,查找资料时发现,这是由于每个网站的编码方式差异造成的。
这个是爬取内涵段子时的源代码,当打印网页源代码时,发现文本信息乱码:
然后我又试了下csdn的网站:
发现文本信息并没有乱码
在网上查找资料知道,每个网站的编码方式不一样,查看每个网址的编码方式可以打开浏览器的管理者工具来查看,以chrome为例,打开F12管理者工具:
这样可以看到CSDN网站上的编码方式为UTF-8
内涵段子的编码方式为GBK,而我使用的pycharm的编码方式为UTF-8:
因此我爬取网页的时候,CSDN上的文本没有乱码,而内涵段子的网页文本发生了乱码
=========================================================================
解决方法:
因为我的编码器的编码格式为UTF-8,但是网页编码方式为GBK,因为我要先将源代码进行GBK解码,然后再进行UTF编码:
这样就大功告成了!!!