通过阿里云 Milvus 与 PAI 搭建高效的检索增强对话系统
背景介绍
阿里云向量检索服务 Milvus 版（简称阿里云 Milvus）是一款云上全托管服务，确保了了与开源 Milvus 的 100%兼容性，并支持无缝迁移。在开源版本的基础上增强了可扩展性，能提供大规模 AI 向量数据的相似性检索服务。相比于自建，目前阿里云 Milvus 具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，阿里云 Milvus 云服务成为多样化 AI 应用场景的理想选择，包括多模态搜索、检索增强生成（RAG）、搜索推荐、内容风险识别等。您还可以利用开源的 Attu 工具进行可视化操作，进一步促进应用的快速开发和部署。
阿里云 Milvus 现已无缝集成于阿里云 PAI 平台，一站式赋能用户构建高性能的 RAG（Retrieval-Augmented Generation）对话系统。您可以利用 Milvus 作为向量数据的实时存储与检索核心，高效结合 PAI 和 LangChain 技术栈，实现从理论到实践的快速转化，搭建起功能强大的 RAG 解决方案。
前提条件
已创建 Milvus 实例，并配置了公网访问。
进入阿里云 Milvus 页面（https://www.aliyun.com/product/milvus），登录阿里云 Milvus 控制台（https://milvus.console.aliyun.com/#/overview）。并在左侧导航栏，单击 Milvus 实例，并继续创建实例。
在目标实例的安全配置页面，单击开启公网。输入当前服务器的公网访问 IP 地址或符合 CIDR 定义的 IP 地址段。
已开通 PAI（EAS）并创建了默认工作空间。
登录 PAI 控制台（https://pai.console.aliyun.com），在左上角选择需要开通的地域后，进行认证、授权并开通服务，待开通成功后，便可进入控制台进行 AI 开发。
使用限制
Milvus 实例和 PAI（EAS）须在相同地域下。
操作流程
步骤一：通过 PAI 部署 RAG 系统
进入模型在线服务页面。
a. 登录 PAI 控制台(https://pai.console.aliyun.com/)。
b. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
c. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。
在模型在线服务页面，单击部署服务。
在部署服务页面，选择大模型 RAG 对话系统部署。
在部署大模型 RAG 对话系统页面，配置以下关键参数，其余参数可使用默认配置，更多参数详情请参见大模型RAG对话系统（https://help.aliyun.com/zh/pai/user-guide/deploy-a-rag-based-dialogue-system）。
单击部署。
当服务状态变为运行中时，表示服务部署成功。
步骤二：通过 RAG WebUI 上传知识库
配置 RAG 对话系统。
a. 在模型在线服务（EAS）页面，单击查看 Web 应用，进入 WebUI 页面。
b. 配置 Embedding 模型。
在 RAG 服务 WebUI 界面的 Settings 选项卡中，系统已自动识别并应用了部署服务时配置的向量检索服务设置。
Embedding Model Name：系统内置四种模型供您选择，将自动为您配置最合适的模型。
Embedding Dimension：选择 Embedding Model Name 后，系统会自动进行配置，无需手动操作。
c. 测试向量检索库连接是否正常。
系统已自动识别并应用了部署服务时配置的向量检索库设置，并且该设置不支持修改。您可以单击 Connect Milvus，来验证 Milvus 连接是否正常。
上传知识库。 在 RAG 服务 WebUI 界面的 Upload 选项卡中，可以上传知识库文档。
a. 设置语义切块参数。
通过配置以下参数来控制文档切块粒度的大小和进行 QA 信息提取：
b. 在 Files 页签下上传业务数据文件（支持多文件上传）。
本文以唐诗三百首的poems.txt（https://help-static-aliyun-doc.aliyuncs.com）文档作为示例数据，您可以直接使用。
c. 单击 Upload，系统会先对上传的文件进行数据清洗（文本提取、超链接替换等）和语义切块，然后进行上传。
步骤三：通过 RAG WebUI 对话
在 RAG 服务 WebUI 界面的 Chat 选项卡中，提供了多种不同的 Prompt 策略，您可以选择合适的预定义 Prompt 模板或输入自定义的 Prompt 模板以获得更好的推理效果。
配置 LLM 问答策略
a. 在 RAG 服务 WebUI 界面的 Chat 选项卡中，选择 LLM。
b. 直接与 LLM 对话，返回大模型的回答。
配置 Retrieval 问答策略
配置 RAG（Retrieval + LLM）问答策略
选择 RAG (Retrieval + LLM)，然后进行向量检索等一系列实验。
步骤四：查看知识库切块
Attu 是一款专为 Milvus 打造的开源数据库管理工具，提供了便捷的图形化界面， 极大的简化了对 Milvus 的操作与管理流程。下面，我们将使用 Milvus 的 Attu 工具，查看 向量检索服务的存储内容。
进入安全配置页面。
a. 登录阿里云Milvus控制台（https://milvus.console.aliyun.com/）。
b. 在左侧导航栏，单击 Milvus 实例。
c. 在顶部菜单栏处，根据实际情况选择地域。
d. 在 Milvus 实例页面，单击目标实例名称。
e. 单击安全配置页签。
配置公网访问。
a. 在安全配置页签，单击开启公网。
b. 输入当前服务器的公网访问 IP 地址或符合 CIDR 定义的 IP 地址段。
多个 IP 条目以半角逗号（,）隔开，不可重复。您可以通过访问https://www.cip.cc/，获取当前服务器的公网访问 IP 地址。
c. 单击确定。
访问 Attu 页面。
a. 单击页面上方的 Attu manager。
b. 在弹出的对话框中输入所要访问的数据库、用户名和密码，单击连接，即可打开 Attu 管理页面。
实例创建完成后，系统会自动创建一个名为 default 的默认数据库，并为您创建一个名为 root 的用户，该用户的密码由您在创建实例时自行设置。
在 Attu 页面，您可以看到 RAG 服务自动创建的 Collection。
相关信息
更多关于 Milvus 的介绍，请参见什么是向量检索服务Milvus版（https://help.aliyun.com/zh/milvus/product-overview/what-is-the-vector-retrieval-milvus-version）。
Milvus 最新动态：
预付费包年折扣：1 年 85 折、2 年 7 折、3 年 5 折；
产品动态：
如有疑问，可加入向量检索 Milvus 版用户交流钉群 59530004993 咨询。
还未添加个人签名 2020-10-15 加入
分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。
评论