jieba
jieba
'结巴‘中文分词：是广泛的使用的中文分词工具，具有以下特点：
1）三种分词模式：精准模式，全模式，和搜索引擎模式
2）词性标注和返回词语在原文的起止位置（Tokenize）
3)可加入自定义字典
4）代码对Python2/3均兼容
5）支持多种语言，支持简体繁体
项目地址：https://github.com/fxsjy/jieba
Stanford NLP
提供了一系列自然语言分析工具，它能够给出基本的词形，词性，不管是公司名还是人名等，格式化的日期，时间，量词，并且能够标记句子的结构，语法形式和字词依赖，指明哪些名字指向同样的实体，指明情绪，提取发言中的开放关系等
1.一个集成的语言分析工具集；
2.进行快速，可靠的任意文本分析；
3.整体的高质量的文本分析；
4.支持多种主流语言；
5.多种编辑语言的易用接口；
6.方便的简单的部署web服务
Stanford NLP是java实现的，所以要用python调用它的接口