如何统计文章中的高频词

分析用户的留言文本信息,提取用户所关注的信息,进行情感分析。该任务的重点就是提取用户留言的高频词并且过滤掉停用词。

在本场 Chat 中,会讲到如下内容:

  • 数据收集:获取用户的留言数据
  • 文本分词:读取用户留言内容,使用 jieba 进行文本分词,根据具体任务,添加自定义词库、停用词。
  • 词频统计:使用 collections 里边的 defaultdict 进行统计
  • 保存结果:按照词频进行排序,写入结果文件。

适合人群: 对 NLP 有兴趣的技术人员

阅读全文: http://gitbook.cn/gitchat/activity/5e1178339affab3b39d663f8

您还可以下载 **** 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。

如何统计文章中的高频词