基于大模型和向量数据库的 RAG 示例
1 RAG 介绍
RAG 是一种先进的自然语言处理方法,它结合了信息检索和文本生成技术,用于提高问答系统、聊天机器人等应用的性能。
2 RAG 的工作流程
文档加载(Document Loading)
从各种来源加载大量文档数据。
这些文档将作为知识库,用于后续的信息检索。
文档分割(Document Splitting)
将加载的文档分割成更小的段落或部分。
这有助于提高检索的准确性和效率。
嵌入向量生成(Embedding Generation)
对每个文档或文档的部分生成嵌入向量。
这些嵌入向量捕捉文档的语义信息,方便后续的相似度比较。
写入向量数据库(Writing to Vector Database)
将生成的嵌入向量存储在一个向量数据库中。
数据库支持高效的相似度搜索操作。
查询生成(Query Generation)
用户提出一个问题或输入一个提示。
RAG 模型根据输入生成一个或多个相关的查询。
文档检索(Document Retrieval)
使用生成的查询在向量数据库中检索相关文档。
选择与查询最相关的文档作为信息源。
上下文融合(Context Integration)
将检索到的文档内容与原始问题或提示融合,构成扩展的上下文。
答案生成(Answer Generation)
基于融合后的上下文,RAG 生成模型产生最终的回答或文本。
这一步骤旨在综合原始输入和检索到的信息。
3 准备环境
3.1 向量数据库环境
已经通过百度向量数据库测试申请的才能访问创建,地址:VectorDB 向量数据库官网页-百度智能云
1 创建百度向量数据库实例,注意需要地域,可用区需要和 BCC 保持在同一个 VPC 内。 地址:百度智能云-向量数据库
2 创建成功后,通过实例详情页查看访问的地址信息和账号信息,用于访问操作向量数据库。如例子截图,访问信息如下:
3.2 开通千帆 Embedding 模型
千帆模型开通付费之后才能使用,开通不会产生费用,且有代金券赠送
1 开通千帆 Embedding 模型的收费,地址: 百度智能云千帆大模型平台
2 右上角个人中心的安全认证里面提取用于鉴权调用 Embedding 模型的 Access Key 和 Secret Key
3.3 客户端环境
3.3.1 数据准备和写入
本例子使用的是 bcc 计算型 c5 2c4g 实例基于 Centos 系统作为例子,但不仅限于 bcc,只要是同 vpc 内的服务器产品都可以。已经有 BCC 客户端的用户忽略步骤 1。
1 创建 BCC 客户端。 地址:百度智能云
2 登录创建的实例进行环境准备,部署安装 python 环境和搭建知识库所必须的依赖包
3 上传一个 PDF 文件到 knowledge/example_data 目录下
4 创建访问的配置文件
5 创建 document 数据库
6 创建 chunks 数据表
7 从 PDF 文档中加载数据、将文档内容分割为更小的文本块以及利用千帆 AI 平台的接口来对文本进行向量化表示,并且写到 chunks 表,本例子会用小的文档作为例子,用户可以根据实际情况加载。
当打印到如下的数据证明你写入成功了。
3.3.2 文档检索
1 基于标量的检索
结果显示如下:
2 基于向量的检索
3 基于标量和向量的混合检索
当然后续还需要上下文融合和答案生成,可以基于百度文心大模型的能力实现,本文篇幅有限就不详细展开了。
原文链接:千帆+Langchain+VectorDB 建立简单的 RAG 示例 - 向量数据库 - 设计架构
评论