Kong 宣布新开源人工智能网关，支持多种 LLM、无代码 AI 插件、高级提示工程等更多功能

Kong CTO 2024 年 2 月 15 日宣布 Kong 在 Kong Gateway 3.6 中发布了六个新的开源 AI 插件，这些插件可以将每个 Kong Gateway 部署都转变为 AI Gateway。这些新插件今天就可以使用，而且完全免费和开源，供所有人使用。欢迎联系我们的中国合作伙伴咨询详情 consultant@gingxing.com。

这六个新插件分别是 AI 代理、AI 请求/响应转换器、AI 提示卫士、AI 提示模板和 AI 提示装饰器（AI Proxy, AI Request/Response Transformer, AI Prompt Guard, AI Prompt Template, and AI Prompt Decorator）。

只需将当前的 Kong Gateway 升级到 3.6 版本，就可以使用这些全新的专注于 AI 和 LLM 使用的插件。这使得想要将一种或多种 LLM 集成到其产品中的开发人员能够更高效地工作，更快地推出 AI 功能，同时为架构师和平台团队提供解决方案，确保每个团队发送的 AI 请求都具有可见性、可控性和合规性。而且，因为它建立在 Kong Gateway 之上，所以可以在云中或自托管的 LLM 上编排 AI 流程，从而获得最佳的性能和最低的延迟，这对于基于 AI 的应用程序至关重要。

所有现有的 1000 多个 Kong Gateway 插件（官方和社区）都可以直接用于您的 AI 流量，如身份验证、流量控制、速率限制、转换等，使 Kong 的 AI Gateway 成为整个生态系统中功能最强大的产品。Kong 的云平台 Kong Konnect、Kong Gateway Enterprise 和 Kong Gateway OSS 也原生支持它。

每个新的 AI 插件录制了六个简短的演示视频（https://konghq.com/products/kong-ai-gateway），从今天开始免费使用。

利用这些新的 AI 插件，您可以：

• 构建多 LLM 集成 - “ai-proxy”插件允许您使用多种 LLM 实现（在云中或自托管），并使用相同的 API 接口。它原生支持 OpenAI、Azure AI、Cohere、Anthropic、Mistral 和 LLaMA，并且由于我们标准化了它们的使用方式，您还可以轻松地在“开关翻转”之间切换 LLM，而无需更改应用程序代码。这对于在您的应用程序中使用多个专用模型以及进行原型设计非常有用。

• 集中管理 AI 凭据 - 使用“ai-proxy”，您还可以将所有 AI 凭据（包括令牌和 API 密钥）存储在 Kong Gateway 中，而无需将它们存储在您的应用程序中，因此您可以轻松地在飞行中即时更新和轮换它们，并在一个集中位置进行，而无需更新您的代码。

• 收集 L7 AI 指标 - 使用新的“ai-proxy”插件，您现在可以将 L7 分析（例如请求和响应令牌的数量或使用的 LLM 提供商和模型）收集到任何第三方（如 Datadog、New Relic）或 Kong Gateway 已经支持的任何日志插件（如 TCP、Syslog 和 Prometheus）。通过这样做，您不仅简化了应用程序对 AI 流量的监控，还获得了开发人员在组织中使用的最常见 LLM 技术的见解。L7 AI 可观察性指标是 Kong Gateway 已经收集的所有其他请求和响应指标之外的。

• 无代码 AI 集成 - 通过使用新的“ai-request-transformer”和“ai-response-transformer”插件，您可以在不需要在应用程序中编写任何代码的情况下利用 AI 的好处。这些插件将拦截每个 API 请求和响应，并使用您配置的任何 AI 提示来增强它们。例如，您可以实时翻译现有的 API 响应以进行国际化，而无需实际更改 API 或更改客户端应用程序。您可以毫不费力地丰富、转换和转换所有现有的 API 流量，等等。可能性无穷无尽。您甚至可以使用另一个 LLM 提供商丰富指向特定 LLM 提供商的 AI 请求，该提供商将在发送到最终目的地之前立即更新请求。

• 高级 AI 提示工程 - 我们提供了三个全新的插件，专注于高级提示工程，从根本上简化和改进了您在应用程序中使用 AI 的方式。通过“ai-prompt-template”，我们引入了一种创建提示模板的简便方法，这些模板可以在 Kong Gateway 中集中管理，并且应用程序只需发送要在模板中使用的命名值即可即时使用。这样，您可以在稍后更新提示，而无需更新应用程序，甚至可以为系统添加新的批准模板来强制执行合规流程。

• 装饰您的 AI 提示 - 您生成的大多数 AI 提示也会为 AI 应该或不应该做什么设置上下文，并指定解释请求和响应的规则。而不是每次都设置上下文，您可以使用“ai-prompt-decorator”插件在中央配置它，该插件将在每个 AI 请求上即时添加或附加您的上下文。这对于确保组织中的合规性也很有用，例如，指示 AI 从不讨论限制性话题等。

• AI 提示防火墙 - 这种能力更适用于希望确保提示得到批准，并且团队中的其他人不会在应用程序中错误地使用错误提示的团队和组织。使用“ai-prompt-guard”插件，我们可以设置一系列规则，以拒绝或允许由应用程序生成并由 Kong Gateway 接收的自由格式提示，然后这些提示才会被发送到 LLM 提供商。

• 创建具有 1,000+ 功能的 AI 出口 - 通过在 Kong Gateway 中利用这些新的 AI 功能，您可以集中管理、保护和观察所有 AI 流量的方式。您还可以使用 Kong Gateway 的所有现有 1,000 多个官方和社区插件来进一步保护其他开发人员如何访问您的 AI 出口（身份验证/授权、mTLS 等），添加速率限制，引入消费层级，或在不同的 AI 提供商之间开发复杂的流量控制规则。

在 Kong Gateway 中，每个 AI 出口都只是一个与其他服务类似的服务，因此 Kong Gateway 的所有功能和插件在第一天即可使用。这使得 Kong 的 AI Gateway 成为整个 AI 生态系统中功能最强大的一个。Kong Konnect 的开发人员门户和服务目录也受支持。

通过 Kong AI Gateway，我们可以解决所有团队都需要自己构建的跨领域能力。

接下来

在 Kong，我们专门为所有 API 用例提供现代基础设施，而最近推动全球 API 使用量的驱动力是 AI。在过去的几个月里，我们与精选的 Kong Gateway 客户和用户合作，覆盖了他们最常见的 AI 用例，因为我们准备发布今天宣布的插件。

未来将会推出更多 AI 功能，我期待听到您的反馈。

开始使用 AI Gateway

您可以通过阅读入门指南来开始使用新的 AI Gateway（https://docs.konghq.com/gateway/latest/get-started/ai-gateway/）。您可以在独立的 Kong Gateway 安装上运行它们，也可以在我们的统一 API 管理平台 Kong Konnect 上运行。

观看：使用 Kong 以安全和可治理的方式采用 AI 和多 LLM 策略

想了解更多关于 Kong AI Gateway 的信息吗,请访问（https://konghq.com/products/kong-ai-gateway）。

欢迎联系 Kong 中国合作伙伴 consultant@gingxing.com 沟通合作。