如何统计文章中的高频词
分析用户的留言文本信息,提取用户所关注的信息,进行情感分析。该任务的重点就是提取用户留言的高频词并且过滤掉停用词。
在本场 Chat 中,会讲到如下内容:
- 数据收集:获取用户的留言数据
- 文本分词:读取用户留言内容,使用 jieba 进行文本分词,根据具体任务,添加自定义词库、停用词。
- 词频统计:使用 collections 里边的 defaultdict 进行统计
- 保存结果:按照词频进行排序,写入结果文件。
适合人群: 对 NLP 有兴趣的技术人员
阅读全文: http://gitbook.cn/gitchat/activity/5e1178339affab3b39d663f8
您还可以下载 **** 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。