百度智能云千帆大模型平台再升级，SDK 版本开源发布！

2023-11-10
北京
本文字数：1783 字
阅读完需：约 6 分钟

百度智能云千帆大模型平台再次升级！在原有 API 基础上，百度智能云正式上线 Python SDK（下文均简称千帆 SDK）版本并全面开源，企业和开发者可免费下载使用！千帆 SDK 全面覆盖从数据集管理，模型训练，模型评估，到服务部署等方面的功能，大家可基于千帆 SDK 通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建自己的大语言模型应用。

1. SDK 的优势

SDK 当前主要的价值在于可快速使用 API 能力，并完善 API 使用的周边工具链，同时提供 cookbook 用于实践。

快速使用 API 能力，不需要自己实现 http 客户端以及鉴权逻辑；并在此基础上做了可配置重试，流量控制，提升了 API 功能的使用体验。
结合实际的案例和应用场景提供了响应的 cookbook，帮助开发者快速上手，甚至复用大部分已实现代码。
拓展了 LLM 应用的基础能力，例如结合 LLM 应用层常见的 Agent 等概念进行了封装，提供了基于 Agent 的应用模板类。

2. 千帆 SDK：快速落地 LLM 应用

千帆 SDK 支持对话补全、续写补全、语义向量、插件、文生图等一系列功能，帮助开发者轻松完成应用开发。

对话补全（ChatCompletion）：对话模型是语言模型的一种变体。虽然在内部使用了语言模型，但它们所提供的接口有些不同。适用于对话生成，智能问答等场景。
续写补全（Completion）：语言模型提供了基本的续写能力，结合丰富的训练语料，非常适合于文档报告编写，内容创作等场景。
语义向量（Embedding）：百度智能云千帆大模型平台在提供大模型对话续写能力的同时，应对于常见的文本检索，知识库查询等场景，也推出了文本转化成向量的能力。
插件应用（Plugin）：为了填补大模型对于获取实时信息，多模态，垂直领域知识问答等场景的能力空白，百度智能云千帆大模型平台推出了常用的几种插件应用，包括百度搜索，知识库，天气查询，智慧图问等几个插件应用。开发者可以通过大模型的决策能力进行问答文本到插件应用调用的转化，也可以直接调用插件应用以获取相应的数据。
文生图（Text2Image）：基于开源的 StableDiffusion 等开源多模态大模型的基础上，百度智能云千帆大模型平台推出了一系列预置的文生图模型，开发者也可以通过 SDK 快速调用，进行图文创作。

3. 如何快速上手千帆 SDK

百度智能云千帆大模型平台为开发者提供了详细的操作手册，包括 SDK 快速启动、大模型开发基础功能快速入门和 Langchain 接入方法，开发者可通过以下步骤更加快速的使用千帆 SDK。

3.1 SDK 快速启动

在该模块，我们通过必要快速上手步骤，以及以 Chat 对话为调用示例，介绍了如何快速进入 LLM 的应用开发。

快速安装 目前千帆 SDK 已发布到 PyPI，可使用 pip 命令进行安装。安装千帆 SDK 需要 3.7.0 或更高的 Python 版本。

平台鉴权 千帆 SDK 基于百度智能云千帆大模型平台对开发者提供能力，因此在使用前需要开发者使用平台指定的鉴权方式进行初始化。

如何获取 AK/SK 开发者可首先进行应用接入，获得 AK/SK。获取到 AK 和 SK 后，开发者还需要传递它们来初始化千帆 SDK，支持如下两种方式，按优先级从低到高排序：

以“Chat 对话”为调用示例 开发者只需要提供预期使用的模型名称和对话内容，即可调用百度智能云千帆大模型平台支持的包括 ERNIE-Bot 在内的所有预置模型，如下所示：

3.2 SDK 进阶指引

对于对模型有微调训练需求的同学，千帆 SDK 提供了模型训练和管理的能力。

大模型训练：百度智能云千帆大模型平台提供了高性能的训练，模型微调能力，可以快速的进行训练任务下发和管理。
大模型管理：主要用于自定义模型的管理和发布。
大模型服务：千帆平台提供了基础的大模型运行环境，开发者可以一键式发布自己的模型服务。

3.3 通过 Langchain 接入千帆 SDK

为什么选择 Langchain

Langchain 是可以帮助大家快速构建从原型到生产的 LLM 应用的框架。其封装了包括 LLM，Embedding，Chain，Agent，Tool 等一系列抽象的 LLM 应用组件，在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法，是当前非常流行的开源大模型框架。它开发效率高，资源配套完善，拥有大量用户。现在，大家可以在 langchain 中通过千帆 SDK 接入并使用百度智能云千帆大模型平台的训练等一系列能力，让应用场景开发更轻松、更便捷。