用于提取数据的三个开源 NLP 工具

开发人员和数据科学家使用生成式 AI 和大语言模型（LLM）来查询大量文档和非结构化数据。开源 LLM 包括 Dolly 2.0、EleutherAI Pythia、Meta AI LLaMa 和 StabilityLM 等，它们都是尝试人工智能的起点，可以接受自然语言提示，生成总结式响应。

Fluree 首席执行官兼联合创始人 Brian Platz 说：“作为知识和信息的基本来源，文本很重要，但目前还没有任何端到端解决方案可以驾驭处理文本的复杂性。虽然大多数组织处理结构化或半结构化数据、放到集中式数据平台上，但非结构化数据仍然被遗忘，未充分利用起来。”

如果贵组织和团队没有试用自然语言处理（NLP）功能，可能落后于所在行业的竞争对手。2023 年专家 NLP 调查报告发现，77%的组织表示计划增加 NLP 方面的支出，54%的组织声称部署到生产环境的时间是衡量成功 NLP 项目的投资回报率的首要指标。

NLP 的用例

如果您有大量非结构化数据和文本，那么一些最常见的业务需求包括如下：

• 通过识别名称、日期、地点和产品，提取实体；

• 模式识别，以发现货币及其他数量；

• 对业务术语、主题和分类分门别类；

• 情绪分析，包括积极的、负面的和讽刺的情绪；

• 总结文件要点；

• 机器语言翻译成其他语言；

• 将文本转换成机器可读的半结构化表示的依赖关系图。

有时候，将 NLP 功能捆绑到平台或应用程序中是可取的。比如说，LLM 支持提问，AI 搜索引擎支持搜索和推荐，聊天机器人支持交互。而其他时候，使用 NLP 工具提取信息以及丰富非结构化文档和文本是最佳选择。

不妨看看开发人员和数据科学家如今使用这三种流行的开源 NLP 工具，可用于针对非结构化文档执行发现操作，并开发生产就绪的 NLP 处理引擎。

1. 自然语言工具包

自然语言工具包（NLTK）于 2001 年发布，是较悠久且较流行的 NLP Python 库之一。NLTK 在 GitHub 上拥有超过 1.18 万颗星，列有 100 多个经过训练的模型。

SPR 的数据和分析主管 Steven Devoe 说：“我认为对于 NLP 来说，最重要的工具是自然语言工具包（NLTK），它采用了 Apache 2.0 许可证。在所有的数据科学项目中，处理和清理算法所使用的数据耗用了大量的时间和精力，这在自然语言处理中尤为如此。NLTK 加快了这方面的许多工作，比如词干提取、词源化、标记、删除停止词以及跨多种书面语言嵌入词向量，从而使算法更容易解释文本。”

NLTK 的优点源于其耐久性，它为刚接触 NLP 的开发人员提供了许多示例，比如这份初学者实践指南和这个更全面的概述。任何学习 NLP 技术的人都可能想先试一下这个库，因为它提供了简单的方法来尝试基本技术，比如标记化、词干提取和分块。

2.spaCy

spaCy 是一个较新的库，2016 年发布了版本 1.0。spaCy 支持 72 余种语言，已发布了其性能基准，它在 GitHub 上积累的星数超过了 25000 颗。

Domino 数据实验室欧洲中东和非洲（EMEA）地区的数据科学主管 Nikolay Manchev 说：“spaCy 是免费的开源 Python 库，提供了对大量文本进行高速自然语言处理的高级功能。使用 spaCy，用户就可以构建模型和生产级应用程序，它们支持文档分析、聊天机器人功能和所有其他形式的文本分析。如今，spaCy 框架是 Python 最流行的自然语言库之一，用于从文本中提取关键字、实体和知识等行业用例。”

spaCy教程显示了 NLTK 类似的功能，比如命名实体识别和词性标注。一个优点是，spaCy 返回文档对象，并支持词向量，这可以为开发人员执行额外的 NLP 后数据处理和文本分析赋予更大的灵活性。

3.Spark NLP

如果您已经使用 Apache Spark 并配置了其基础设施，那么 Spark NLP 可能是开始尝试自然语言处理的更便捷途径之一。Spark NLP 有几个安装选项，包括 AWS、Azure Databricks 和 Docker。

John Snow Labs 的首席技术官 David Talby 说：“Spark NLP 是一个广泛使用的开源自然语言处理库，它使企业能够以最高的精度从自由文本文档中提取信息和答案。因此企业可以提取只存在于临床记录中的相关健康信息，识别社交媒体上的仇恨言论或虚假新闻，或概述法律协议和财经新闻。”

Spark NLP 的不同之处在于其是适用于医疗、金融和法律领域的语言模型。这些商业产品配备了预先训练的模型，用于识别医疗领域的药物名称和剂量、金融实体识别（比如股票行情信息）以及公司名称和高管的法律知识图谱。

Talby 表示，Spark NLP 可以帮助组织尽量减少开发模型所需的前期训练。他说：“这个免费开源库附带超过 11000 个预训练的模型，外加重用、训练、调优和轻松扩展模型的功能。”

试用 NLP 的最佳实践

我在职业生涯的早期有幸监督过开发几个使用 NLP 功能构建的 SaaS 产品。第一个 NLP 是一个搜索报纸分类广告的 SaaS 平台，包括搜索汽车、工作和房地产。然后，我领导开发了用于从商业建筑文件（包括建筑规格和蓝图）中提取信息的 NLP。

在一个新领域开始入手 NLP 时，我的建议如下：

• 从文档或文本的一个代表性的小例子入手。

• 确定目标最终用户角色以及提取的信息如何改进他们的工作流程。

• 指定所需的信息提取和目标准确性指标。

• 测试几种方法，使用速度和准确性指标进行基准衡量。

• 反复提高准确性，尤其是在增加文档的规模和广度时。

• 准备交付用于处理数据质量和处理异常的数据管理工具。

您可能会发现用于发现和试用新型文档的 NLP 工具将有助于界定需求。然后，扩大 NLP 技术的比较范围，涵盖开源方案和商业方案，因为构建和支持生产就绪的 NLP 数据管道可能成本高昂。随着 LLM 日益备受关注，对 NLP 功能方面投入不足会导致落后于竞争对手。幸运的是，您可以从本文介绍的其中一款开源工具入手，构建 NLP 数据管道，以满足自己的预算和需求。