开源NLP（自然语言处理）库的功能对比

AI Conference 北京站

AI Conference 2019 北京站6月18-21日即将开幕！

培训：大会推出「PyTorch 深度学习」两天培训课程，资深数据科学家主讲，限制人数，抢票从速！

编者注：文中超链接如果不能访问可以点击“阅读原文”访问本文原页面；查看2019年6月18日至21日在北京举行的人工智能大会上的相关议题。

开源NLP库

在开发和生产中，最受欢迎的NLP库列表如下：

• Spark NLP

• spaCy

• NLTK

• OpenNLP

• Stanford CoreNLP

显然，NLP领域还有更多的库。但是，这些库更通用，涵盖更多功能，而不只是专注于特定用例。例如，gensim是一个NLP库，一开始是为构建文本主题模型而创建的，不能用于完整的NLP管道。

在本文的分析中，我们只考虑提供如下核心功能集合的库：

• 句子检测

• 单字/单词的细粒度单位化

• 词干提取

• 语法标记

• 词性（POS）

• 命名实体识别（NER）

• 依赖分析器

• 训练特定域的语言模型

以及，提供以下的部分或全部功能：

• 文本匹配

• 日期匹配

• 文本分块

• 拼写检查

• 情绪检测

• 很多其他功能！

这里比较的所有五个库都有一些可以定义的NLP数据管线的概念 – 因为大多数NLP任务需要组合这些功能中的某些，来获得有用的结果。这些管线，可以是“传统”的管线，也可以是基于深度学习的管线。

图片来源：Parsa Ghaffari

这是最受欢迎的NLP库的功能比较：

以下是对现代计算平台和流行编程语言的支持的技术功能比较：

许可证和支持

“开源”在不同地方意味着不同的事情 – 例如，斯坦福大学的CoreNLP需要商业用途的付费许可证，而且该许可证仍然不能提供已定义的SLA的商业支持。希望构建商业级生产级NLP解决方案的团队需要一个不断改进核心库的活跃社区，以及付费企业级支持选项。

以下是各种库在许可和支持方面的对比：

斯坦福大学出售CoreNLP的商业许可证，这是商业用途所必需的。为spaCy提供商业许可证和支持的explosion.ai同样也为快速标注迭代工具prodigy、机器学习库thinc提供许可证。John Snow Labs提供企业级Spark NLP服务，包括基本版，24×7级别的支持，以及诸如命名实体解析，断言状态检测、ID脱敏等高级功能。它还为提供 医疗领域专用的Spark NLP，其中包括一套针对生物医学NLP的最先进的模型和数据集。

预训练模型

虽然大多数NLP库支持用户训练新模型，但NLP库具有现有的预训练的高质量模型这一点非常重要。

不过，大多数NLP库仅支持通用的预训练模型（POS，NER等）。由于其许可证的要求，某些库根据模型授权状态，不允许将预训练模型作商业用途。

以下是与每个库一起打包的通用预训练模型：

结论

并非所有开源NLP库都提供相同的功能。鉴于您的编程语言，平台，许可和支持需求，并非所有工具都可用于您的项目。本文为缩小您选择范围，构建了一张快速查询的备忘单。如果您了解某些新库、新版本并希望我们对此清单保持更新，请联系我们，帮助我们及时了解最新信息。

除了比较工具的功能之外，您的下一个标准应该是比较准确性、速度和可扩展性。祝您在NLP领域中好运！

Maziyar Panah and David Talby

David Talby是Pacific AI的首席技术官。他正在帮助多个快速发展的公司应用大数据和数据科学技术来解决医疗保健、生命科学和相关领域的实际问题。David在构建和运营互联网规模的数据科学和业务平台以及构建世界一流的敏捷分布的团队方面拥有丰富的经验。在加入Pacific AI前，他曾在微软的Bing Group工作，负责Bing Shopping在美国和欧洲的业务运营。他还在在西雅图和英国为亚马逊工作。在那里他建立并管理分布的团队，帮助扩展亚马逊财务系统。David拥有计算机科学博士学位和计算机科学硕士与工商管理硕士学位。