Python中jieba分词模块的用法
这篇文章主要讲解了“Python中jieba分词模块的用法”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Python中jieba分词模块的用法”吧！
0、前言
jieba库是进行中文分词的利器，根据文档描述，具有以下特点：
分词
提取关键词
搜索词汇位置
2、提取词汇
在处理词汇时，常常我们会提取出现频率比较高的关键词，jieba.analyse.extract_tags()具有此功能，它接受 4 个参数
3、搜索词汇位置
jieba 库也包含了定位词汇位置的功能，jieba.tokenize() 可以实现此功能，该函数接收字符串，返回一个生成器，包含所有分词结果以及始末位置，基本用法如下：
import jieba string = '今天天气特别好，很开心' result = jieba.tokenize(string) print(list(result))
结果如下：
[('今天天气', 0, 4), ('特别', 4, 6), ('好', 6, 7),
('，', 7, 8), ('很', 8, 9), ('开心', 9, 11)]
如果我们只是找到某个特定的词汇在文中的位置，拿之前的西游记文本为例，我们去寻找词汇 “行者” 第一次出现的位置
with open('西游记.txt','r',errors='ignore')as f:
data = f.read()
result = jieba.tokenize(data) for i in result:
if '行者' in i:
print(i)
break
结果：
('行者', 8593, 8595)
如此，就能很方便的找到特定词汇在文章中出现的位置。
<h5 white-space:normal;widows:1;background-color:#ffffff;box-sizing:border-box="" !important;"=""> 4、小结
以上就是 jieba 库的常用的方法，该库还包括词性标注、并行分词、命令行分词、添加字典等等功能。
更详细的内容参考官方文档：https://github.com/fxsjy/jieba
对该库的算法感兴趣的同学可参考
jieba分词的基本思路：
https://segmentfault.com/a/1190000004061791
对Python中文分词模块结巴分词算法过程的理解和分析：http://blog.csdn.net/rav009/article/details/12196623
感谢各位的阅读，以上就是“Python中jieba分词模块的用法”的内容了，经过本文的学习后，相信大家对Python中jieba分词模块的用法这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！