如何利用亚马逊云科技和大型语言模型构建智能化的企业业务知识库

作者 | $E_0=m{c}^2$

摘要

在数字化时代，企业需要应对庞大而复杂的信息流，因此有效管理和利用企业内部知识是提高业务竞争力的关键。本文介绍了如何借助亚马逊云科技云计算平台和先进的大型语言模型来构建高度智能化的企业业务知识库，以提供更快速、精准的知识获取和决策支持。我们以 Claude2 为例，展示了如何利用 Amazon Bedrock 服务来部署和定制基于大型语言模型的知识库系统，以及如何使用 Amazon Bedrock Agents 工具来创建无需编写任何代码的托管代理，来执行各种复杂的业务任务。

引言

企业业务知识库是一种集中存储和管理企业内部知识的工具，它可以帮助企业有效地管理和利用知识资产，从而提高企业的运营效率和竞争力。企业业务知识库可以帮助企业员工更快地找到所需的信息，减少重复劳动，提高工作效率。此外，企业业务知识库还可以促进团队之间的知识共享和协作，从而提高团队的协作效率和创新能力。知识库还可以帮助企业更好地了解客户需求，提高客户满意度，增强企业的市场竞争力。

随着大数据和人工智能技术的迅速发展，构建一个强大的企业业务知识库成为了提高效率、创新和决策质量的必要手段。大型语言模型如 Claude2 在自然语言处理领域取得了显著成果，这种模型具备强大的文本理解和生成能力，能够理解和产生自然语言文本。在企业业务知识库中，这种语言模型可以被用于自动化问答、文档摘要、信息分类等任务。通过将这些先进的语言模型融入知识库系统，企业可以提升知识库的智能程度，使其更具交互性和适应性，从而更好地满足用户的需求，促进信息流通和知识共享。

然而，构建和部署一个基于大型语言模型的企业业务知识库并不是一件容易的事情，它涉及到多个方面的挑战，如：

• 如何选择合适的大型语言模型，以及如何对其进行微调和优化，以适应企业特定的业务场景和任务需求？

• 如何在云端部署和管理大型语言模型，以保证其高可用性、高性能和高安全性？

• 如何利用大型语言模型的生成能力，来创建无需编写任何代码的托管代理，来执行各种复杂的业务任务，如旅行预订、处理保险索赔、策划广告活动和管理库存等？

为了解决这些挑战，本文将介绍如何借助亚马逊云科技云计算平台和先进的大型语言模型来构建高度智能化的企业业务知识库，以提供更快速、精准的知识获取和决策支持。我们将以 Claude2 为例，展示了如何利用 Amazon Bedrock 服务来部署和定制基于大型语言模型的知识库系统，以及如何使用 Amazon Bedrock Agents 工具来创建无需编写任何代码的托管代理，来执行各种复杂的业务任务。

亚马逊云科技云计算平台

亚马逊云科技提供了一系列全球性的基于云的产品和服务，包括计算、存储、数据库、分析、网络、移动、开发者工具、管理工具、物联网、安全和企业应用等。亚马逊云科技为企业提供了一个灵活、可扩展、可靠和安全的云环境，让企业可以在云端部署和运行各种应用程序，无需担心基础设施的管理和维护。

在本文中，我们将探讨如何在亚马逊云科技上部署企业业务知识库，以及如何使用大型语言模型的最佳实践。我们将使用以下亚马逊云科技服务：

• Amazon Bedrock：一项全面托管的服务，通过单一 API 提供了来自领先人工智能公司的高性能基础模型，以及构建生成式人工智能应用程序所需的广泛功能。

• Amazon Bedrock Agents：一项工具，可以无需编写任何代码，就能够创建托管代理，来指挥大型语言模型执行各种复杂业务任务。

• Amazon Simple Storage Service（Amazon S3）：一种对象存储服务，可以存储和检索任意数量的数据，用于存储训练和验证数据集，以及知识库的文档和元数据。

• Amazon Elastic Compute Cloud（Amazon EC2）：一种提供可调整的计算能力的服务，可以根据需要快速启动和停止虚拟服务器，用于运行知识库的后端服务和应用程序。

• Amazon Virtual Private Cloud（Amazon VPC）：一种提供隔离的虚拟网络的服务，可以控制网络资源的访问和安全，用于创建知识库的专用网络环境。

• Amazon Relational Database Service（Amazon RDS）：一种提供可扩展的关系数据库的服务，可以自动处理数据库的备份、恢复、补丁和安全，用于存储知识库的结构化数据。

• Amazon Elasticsearch Service（Amazon ES）：一种提供可扩展的搜索和分析引擎的服务，可以快速处理大量数据，用于实现知识库的全文检索和分析功能。

• Amazon API Gateway：一种提供可扩展的 API 管理的服务，可以创建、发布、维护和监控 API，用于为知识库提供统一的访问接口。

• 亚马逊云科技 Lambda：一种提供无服务器计算的服务，可以运行代码而无需管理服务器，用于实现知识库的业务逻辑和事件驱动的功能。

• 亚马逊云科技 Identity and Access Management（亚马逊云科技 IAM）：一种提供安全的身份和访问管理的服务，可以控制对亚马逊云科技资源的访问权限，用于实现知识库的用户认证和授权功能。

大型语言模型

大型语言模型是一种利用深度学习技术，基于大量的文本数据，学习自然语言的统计规律和语义知识的模型。这种模型具备强大的文本理解和生成能力，能够理解和产生自然语言文本。在企业业务知识库中，这种语言模型可以被用于自动化问答、文档摘要、信息分类等任务。通过将这些先进的语言模型融入知识库系统，企业可以提升知识库的智能程度，使其更具交互性和适应性，从而更好地满足用户的需求，促进信息流通和知识共享。

如何利用 Amazon Bedrock 部署和定制基于大型语言模型的知识库系统

Amazon Bedrock 是一项全面托管的服务，通过单一 API 提供了来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先人工智能公司的高性能基础模型（FM），以及构建生成式人工智能应用程序所需的广泛功能。在简化开发的同时，该服务注重维护隐私和安全性。借助 Amazon Bedrock 的全面功能，您能够轻松尝试各种热门 FM，并运用微调和检索增强生成（RAG）等技术，对其进行私人定制，从而创建无需编写任何代码的托管代理，可执行各种复杂业务任务，包括但不限于预订旅行、处理保险索赔、制作广告活动和管理库存。由于 Amazon Bedrock 是无服务器的，您无需管理任何基础设施，而可以安全地将生成式人工智能功能集成和部署到您的应用程序中，使用已经熟悉的亚马逊云科技服务。

在本节中，我们将介绍如何利用 Amazon Bedrock 来部署和定制基于大型语言模型的知识库系统。我们将以 Claude2 为例，展示如何使用 Amazon Bedrock 控制台和 API 来选择、微调和调用大型语言模型，以及如何将其集成到知识库系统中。

选择大型语言模型

Amazon Bedrock 提供了多种来自不同模型提供商的大型语言模型，如 AI21 Jurassic-1、Cohere Basalt、Meta M3、Stability AI S3 等。这些模型具有不同的参数规模、训练数据、性能指标和功能特点，可以根据不同的应用场景和任务需求进行选择。通过 Amazon Bedrock 控制台，您可以查看每个模型的详细信息，包括模型名称、提供商、参数规模、训练数据、性能指标、功能特点、价格等。您也可以通过 Amazon Bedrock API 来获取这些信息，或者使用 Amazon Bedrock SDK 来编写代码来选择模型。

为了构建企业业务知识库，我们需要选择一个具有强大的文本理解和生成能力的大型语言模型，能够处理各种自然语言处理任务，如自动化问答、文档摘要、信息分类等。在这里，我们选择了 Claude2 作为我们的基础模型，因为它是目前最先进的大型语言模型之一，基于大量的多语言文本数据进行训练，能够理解和产生多种自然语言文本，包括英语、中文、日语、法语、德语等。Claude2 在多个自然语言处理任务上都取得了优异的性能，如阅读理解、文本摘要、文本分类、文本生成等。

微调大型语言模型

虽然 Claue2 是一个通用的大型语言模型，但它并不是针对特定的企业或领域进行训练的，因此它可能无法完全理解和生成与企业相关的专业术语、知识和逻辑。为了提高模型的适应性和准确性，我们需要对模型进行微调，即在原有的模型参数的基础上，利用企业特定的数据进行进一步的训练，使模型能够学习到企业相关的知识和语言规律。

通过 Amazon Bedrock 控制台，您无需编写任何代码，就能够轻松地利用您的数据对模型进行微调，以满足公司特定的任务需求。只需选择存储在 Amazon Simple Storage Service（Amazon S3）中的训练和验证数据集，并在必要时调整超参数，即可实现潜在的最佳模型性能。您也可以通过 Amazon Bedrock API 或 SDK 来编写代码来进行微调。

为了微调 Claude2，我们需要准备企业特定的数据集，包括以下几个方面：

• 企业相关的文档和元数据，如产品介绍、用户手册、常见问题、政策规定、行业报告等，用于训练模型的文本理解和生成能力，以及提高模型的领域知识和专业术语。

• 企业相关的问答对，如客户咨询、员工反馈、业务咨询等，用于训练模型的自动化问答能力，以及提高模型的逻辑推理和问题解决能力。

• 企业相关的文档摘要，如文档的标题、关键词、摘要等，用于训练模型的文档摘要能力，以及提高模型的信息提取和概括能力。

• 企业相关的信息分类，如文档的类别、标签、主题等，用于训练模型的信息分类能力，以及提高模型的信息组织和管理能力。

我们将这些数据集存储在 Amazon S3 中，然后通过 Amazon Bedrock 控制台选择 Claude2 作为基础模型，选择我们的数据集作为训练和验证数据集，并设置合适的超参数，如学习率、批次大小、训练轮数等，然后启动微调过程。Amazon Bedrock 会自动进行微调，我们可以通过控制台查看微调的进度和结果，包括训练损失、验证损失、验证准确率等。微调完成后，我们可以得到一个针对我们的企业进行定制的大型语言模型，我们可以通过控制台或 API 或 SDK 来调用它。

调用大型语言模型

无论您选择哪种模型，都能够利用单一 API 进行推理。通过这个单一 API，您可以灵活地使用来自不同模型提供商的各种模型，而只需对代码做出最少的更改，即可与最新的模型版本保持同步。您也可以通过 Amazon Bedrock SDK 来编写代码来调用模型。

为了调用我们微调后的 Claude2 模型，我们需要准备以下几个参数：

• 模型 ID：我们微调后的模型的唯一标识符，可以通过 Amazon Bedrock 控制台或 API 或 SDK 来获取。

• 输入文本：我们想要让模型处理的文本，可以是一个问题、一个文档、一个类别等，根据不同的任务需求而不同。

• 输出参数：我们想要让模型返回的文本，可以是一个答案、一个摘要、一个类别等，根据不同的任务需求而不同。我们还可以设置一些其他的参数，如最大长度、温度、重复率等，来控制模型的生成效果。

如何利用 Amazon Bedrock Agents 创建无需编写任何代码的托管代理

Amazon Bedrock Agents 是一项工具，可以无需编写任何代码，就能够创建托管代理，来指挥大型语言模型执行各种复杂业务任务，如旅行预订、处理保险索赔、策划广告活动和管理库存等。通过 Amazon Bedrock Agents，您可以利用大型语言模型的生成能力，来创建具有自然语言交互和逻辑推理能力的智能代理，从而提高您的业务效率和客户满意度。

在本节中，我们将介绍如何利用 Amazon Bedrock Agents 来创建无需编写任何代码的托管代理。我们将以 Claude2 为例，展示如何使用 Amazon Bedrock Agents 控制台和 API 来定义、训练和部署托管代理，以及如何将其集成到知识库系统中。

定义托管代理

通过 Amazon Bedrock Agents 控制台，您可以轻松地定义您的托管代理，包括以下几个方面：

• 代理名称：您的托管代理的唯一标识符，可以是任意的字符串，如 Claude2。

• 代理描述：您的托管代理的简要介绍，可以是任意的文本，如 Claude2 是一个基于 Claude2 的智能知识库代理，可以回答各种与企业相关的问题，提供文档摘要和信息分类等功能。。

• 代理类型：您的托管代理的类型，可以是以下几种之一，根据不同的类型，代理的交互方式和功能也不同：

• 聊天代理：可以与用户进行自然语言的对话，回答用户的问题，提供用户所需的信息，或者执行用户的请求，如预订旅行、处理保险索赔等。

• 文档代理：可以对用户提供的文档进行处理，提供文档的摘要、分类、翻译、校对等功能，或者根据用户的要求生成新的文档，如新闻、故事、诗歌等。

• 代码代理：可以对用户提供的代码进行处理，提供代码的编译、运行、测试、调试、优化等功能，或者根据用户的要求生成新的代码，如网站、应用程序、游戏等。

• 图像代理：可以对用户提供的图像进行处理，提供图像的识别、分析、编辑、合成等功能，或者根据用户的要求生成新的图像，如人脸、风景、艺术等。

在这里，我们选择了聊天代理作为我们的代理类型，因为我们想要让我们的托管代理能够与用户进行自然语言的对话，回答用户的问题，提供用户所需的信息，或者执行用户的请求，如提供文档摘要和信息分类等功能。

• 代理模型：您的托管代理所使用的大型语言模型，可以是 Amazon Bedrock 提供的任何一个模型，或者您自己微调后的模型。您可以根据您的代理的任务需求和性能要求，来选择合适的模型。在这里，我们选择了我们微调后的 Claude2 模型作为我们的代理模型，因为它具有强大的文本理解和生成能力，能够适应我们的企业相关的知识和语言规律。

• 代理参数：您的托管代理所使用的一些其他的参数，如最大长度、温度、重复率等，用于控制代理的生成效果。您可以根据您的代理的任务需求和性能要求模型返回的输出，可以是一个答案、一个摘要、一个标签等，根据不同的任务需求而不同。我们还可以设置输出的长度、温度、重复度等参数，来控制输出的质量和多样性。

例如，如果我们想要让模型对一个问题进行自动化问答，我们可以设置以下参数：

• 模型 ID：我们微调后的 Claude2 模型的 ID，假设为 123456。

• 输入文本：我们想要问的问题，如 "什么是亚马逊云科技云计算平台？"

• 输出参数：我们想要让模型返回一个简短的答案，因此我们可以设置输出的长度为 50，温度为 0.1，重复度为 0。

然后，我们可以通过 Amazon Bedrock API 或 SDK 来调用模型，得到以下输出：

• 输出文本：模型返回的答案，如 "亚马逊云科技云计算平台是由亚马逊提供的一系列全球性的基于云的产品和服务，包括计算、存储、数据库、分析、网络、移动、开发者工具、管理工具、物联网、安全和企业应用等。"

这样，我们就完成了对大型语言模型的调用，可以将输出文本作为知识库的一部分，或者展示给用户，或者进行后续的处理。