助力数智化转型：使用检索增强生成【RAG】构建物业行业大模型

作者：智在碧得

2024-04-24
广东
本文字数：8199 字
阅读完需：约 27 分钟

本文作者：蔡冠杰，碧桂园服务后端开发高级工程师，拥有 8 年开发经验。

1 (RAG)检索增强生成技术介绍

1.1 检索增强生成是什么？

举个例子，比如我作为员工，直接问大模型：

提问：我们公司几点下班？

大模型在没有“接触”过我们公司《员工手册》等企业私有数据的情况下，大模型往往难以给出正确答案。RAG 的能力在于能够让大模型结合企业私有数据，完成特定领域的知识问答。RAG 把这类问题拆成两个步骤：

基于用户的提问，到《员工手册》里找到最相关的 N 个内容片段。

把用户提问和 N 个内容片段一起送到大模型中，获得答案。

上边这个例子“我们公司几点下班？”就变成：

提问：请参考员工手册，回答以下问题：我们公司几点下班？
员工手册内容如下：遵守上班时间不迟到、不早退......工作时间每周一至周五上午 8:40 到下午 6:10......

大模型回复：

回复：下班时间是下午 6 点 10 分。

LLM 是一种通过大量数据训练的模型，可以回答任何问题或完成任务，并利用其参数化记忆。然而，这些模型有一个知识截止日期，取决于它们上次训练的时间。比如当被问及超出其知识范围或在知识截止日期之后发生的事件时，模型会产生幻觉。

Meta 公司的研究人员发现，通过提供与手头任务相关的信息，模型在完成任务时表现得到显著改善。例如，如果询问模型关于截止日期之后发生的事件，则提供该事件作为背景信息并随后提问，可帮助模型正确回答问题。

但由于 LLM 上下文窗口长度有限，所以在处理当前任务时只能传递最相关的知识，而且添加到上下文中的数据质量也会影响模型生成响应结果的质量。因此，机器学习从业者在 RAG 流程的不同阶段使用多种技术来改善 LLM 的性能。

1.2 RAG 如何工作？

RAG 架构和管道包括三个主要阶段：数据准备、检索和生成。

数据准备阶段：包括确定数据源、从数据源中提取数据、清理数据并将其存储到数据库中。

检索阶段：包括根据手头的任务从数据库中检索相关数据。

生成阶段：包括利用检索到的数据和手头的任务生成输出结果。

输出的质量取决于数据的质量和检索策略。下文将详细介绍每个阶段。

2 大模型结合 RAG 在企业知识库问答的落地

2.1 基于 LangChain+LLM 的本地知识库问答

2.1.1 什么是 LangChain？

LangChain 是一个开源的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

LangChain 旨在为六个主要领域的开发人员提供支持：

LLM 和提示：LangChain 使管理提示、优化它们以及为所有 LLM 创建通用界面变得容易。此外，它还包括一些用于处理 LLM 的便捷实用程序。
链(Chain)：这些是对 LLM 或其他实用程序的调用序列。LangChain 为链提供标准接口，与各种工具集成，为流行应用提供端到端的链。
数据增强生成：LangChain 使链能够与外部数据源交互以收集生成步骤的数据。例如，它可以帮助总结长文本或使用特定数据源回答问题。
Agents：Agents 让 LLM 做出有关行动的决定，采取这些行动，检查结果，并继续前进直到工作完成。LangChain 提供了代理的标准接口，多种代理可供选择，以及端到端的代理示例。
内存：LangChain 有一个标准的内存接口，有助于维护链或代理调用之间的状态。它还提供了一系列内存实现和使用内存的链或代理的示例。
评估：很难用传统指标评估生成模型。这就是为什么 LangChain 提供提示和链来帮助开发者自己使用 LLM 评估他们的模型。

2.1.2 什么是 LLM？

LLM（英文：Large Language Mode），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。

LLM 的特点是规模庞大，包含数千亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种 NLP 任务上取得令人印象深刻的表现。

自 ChatGPT 为代表的大语言模型出现以来，由于其惊人的人工智能（AGI）的能力，自然语言处理领域掀起了新一轮的研究和应用的浪潮。特别是随着 ChatGLM、LLaMA 等较小规模的 LLM 开源，使得平民玩家也能够运行这些模型，业界涌现出了许多基于 LLM 的二次微调或应用的案例。

常见底座模型细节概览：

1、知识库构建

（1）文本加载和读取

加载文件：这是读取存储在本地的知识库文件的步骤。

读取文件：读取加载的文件内容，通常是将其转化为文本格式。

接入非结构化文档：

txt, .rtf, .epub, .srt
eml, .msg
html, .xml, .toml
json, .jsonl
md, .rst
docx, .doc, .pptx, .ppt, .odt
pdf
jpg, .jpeg, .png, .bmp

结构化数据接入：

csv, .tsv
xlsx, .xlsd

（2）文本分割

通常情况下，为了更有效地利用语言模型，需要将大型文本文档拆分为较小的块。文本拆分器负责将文档拆分为较小的文档片段。在理想情况下，我们希望将语义相关的文本片段放在一起。然而，“语义相关”的含义可能因文本类型而异。

根据规则：

根据中文文章的常见终止符号，利用规则进行文本分割。如：单字符断句符、中英文省略号、双引号等。

根据语义：

将文本拆分为语义上有意义的小块（通常是句子），然后开始将这些小块组合成一个较大的块，直到达到一定的大小（由某个函数测量）。一旦达到该大小，就将该块设置为自己的文本段，并开始创建一个具有一些重叠的新文本块。

依据中文标点符号设计的 ChineseTextSplitter

class ChineseTextSplitter(CharacterTextSplitter):...    def split_text(self, text: str) -> List[str]:   ##此处需要进一步优化逻辑    if self.pdf:        text = re.sub(r"\n{3,}", r"\n", text)        text = re.sub('\s', " ", text)        text = re.sub("\n\n", "", text)
    text = re.sub(r'([;；.!?。！？\?])([^”’])', r"\1\n\2", text)  # 单字符断句符    text = re.sub(r'(\.{6})([^"’”」』])', r"\1\n\2", text)  # 英文省略号    text = re.sub(r'(\…{2})([^"’”」』])', r"\1\n\2", text)  # 中文省略号    text = re.sub(r'([;；!?。！？\?]["’”」』]{0,2})([^;；!?，。！？\?])', r'\1\n\2', text)    # 如果双引号前有终止符，那么双引号才是句子的终点，把分句符\n放到双引号后，注意前面的几句都小心保留了双引号    text = text.rstrip()  # 段尾如果有多余的\n就去掉它    # 很多规则中会考虑分号;，但是这里我把它忽略不计，破折号、英文双引号等同样忽略，需要的再做些简单调整即可。    ls = [i for i in text.split("\n") if i]    for ele in ls:        if len(ele) > self.sentence_size:            ele1 = re.sub(r'([,，.]["’”」』]{0,2})([^,，.])', r'\1\n\2', ele)            ele1_ls = ele1.split("\n")            for ele_ele1 in ele1_ls:                if len(ele_ele1) > self.sentence_size:                    ele_ele2 = re.sub(r'([\n]{1,}| {2,}["’”」』]{0,2})([^\s])', r'\1\n\2', ele_ele1)                    ele2_ls = ele_ele2.split("\n")                    for ele_ele2 in ele2_ls:                        if len(ele_ele2) > self.sentence_size:                            ele_ele3 = re.sub('( ["’”」』]{0,2})([^ ])', r'\1\n\2', ele_ele2)                            ele2_id = ele2_ls.index(ele_ele2)                            ele2_ls = ele2_ls[:ele2_id] + [i for i in ele_ele3.split("\n") if i] + ele2_ls[                                                                                                   ele2_id + 1:]                    ele_id = ele1_ls.index(ele_ele1)                    ele1_ls = ele1_ls[:ele_id] + [i for i in ele2_ls if i] + ele1_ls[ele_id + 1:]
            id = ls.index(ele)            ls = ls[:id] + [i for i in ele1_ls if i] + ls[id + 1:]    return ls

复制代码

（3）文本向量化(embedding)-存储到向量数据库

文本向量化(embedding)：这通常涉及到 NLP 的特征抽取，可以通过诸如 TF-IDF、word2vec、BERT 等方法将分割好的文本转化为数值向量。

存储到向量数据库：文本向量化之后存储到数据库 vectorstore(milvus)。

#初始化def _load_milvus(self, embeddings: Embeddings = None):    if embeddings is None:        embeddings = self._load_embeddings()    self.milvus = Milvus(embedding_function=EmbeddingsFunAdapter(embeddings),                         collection_name=self.kb_name, connection_args=kbs_config.get("milvus"))#添加到向量数据库def do_add_doc(self, docs: List[Document], **kwargs) -> List[Dict]:    ids = self.milvus.add_documents(docs)    doc_infos = [{"id": id, "metadata": doc.metadata} for id, doc in zip(ids, docs)]    return doc_infos

复制代码

（4）问句向量化

这是将用户的查询或问题转化为向量，应使用与文本向量化相同的方法，以便在相同的空间中进行比较。

2、知识库问答

（1）在文本向量中匹配出与问句向量最相似的 top k 个

这一步是信息检索的核心，通过计算余弦相似度、欧氏距离等方式，找出与问句向量最接近的文本向量。

def query(self, q):        #在向量数据库中查找与问句向量相似的文本向量        vector_store = self.init_vector_store()        docs = vector_store.similarity_search_with_score(q, k=self.top_k)        for doc in docs:            dc, s = doc            yield s, dc

复制代码

下面是 similarity_search_with_score 函数：

def similarity_search_with_score(    self,    query: str,    k: int = 4,    param: Optional[dict] = None,    expr: Optional[str] = None,    timeout: Optional[int] = None,    **kwargs: Any,) -> List[Tuple[Document, float]]:    """Perform a search on a query string and return results with score.
    For more information about the search parameters, take a look at the pymilvus    documentation found here:    https://milvus.io/api-reference/pymilvus/v2.2.6/Collection/search().md
    Args:        query (str): The text being searched.        k (int, optional): The amount of results to return. Defaults to 4.        param (dict): The search params for the specified index.            Defaults to None.        expr (str, optional): Filtering expression. Defaults to None.        timeout (int, optional): How long to wait before timeout error.            Defaults to None.        kwargs: Collection.search() keyword arguments.
    Returns:        List[float], List[Tuple[Document, any, any]]:    """    if self.col is None:        logger.debug("No existing collection to search.")        return []
    # Embed the query text.    embedding = self.embedding_func.embed_query(query)
    res = self.similarity_search_with_score_by_vector(        embedding=embedding, k=k, param=param, expr=expr, timeout=timeout, **kwargs    )    return res

复制代码

（2）匹配出的文本作为上下文和问题一起添加到 prompt 中

这是利用匹配出的文本来形成与问题相关的上下文，用于输入给语言模型。

# 基于本地知识问答的提示词模版PROMPT_TEMPLATE = """<指令>根据已知信息，简洁和专业的来回答问题。如果无法从中得到答案，请说 “根据已知信息无法回答该问题”，不允许在答案中添加编造成分，答案请使用中文。 </指令>
<已知信息>{{ context }}</已知信息>
<问题>{{ question }}</问题>"""#组合提示模板和上下文def knowledge_base_chat(query: str = Body(..., description="用户输入", examples=["你好"])...model = ChatOpenAI(    streaming=True,    verbose=True,    callbacks=[callback],    temperature=0,    openai_api_key=llm_model_dict[model_name]["api_key"],    openai_api_base=llm_model_dict[model_name]["api_base_url"],    model_name=model_name,    openai_proxy=llm_model_dict[model_name].get("openai_proxy"))docs = search_docs(query, knowledge_base_name, top_k, score_threshold)context = "\n".join([doc.page_content for doc in docs])
input_msg = History(role="user", content=PROMPT_TEMPLATE).to_msg_template(False)chat_prompt = ChatPromptTemplate.from_messages(    [i.to_msg_template() for i in history] + [input_msg])...

复制代码

（3）提交给 LLM 生成回答

最后，将这个问题和上下文一起提交给语言模型(例如 GPT 系列)，让它生成回答。

#最后是调用langchain的LLMChain方法生成回答model = ChatOpenAI(    streaming=True,    verbose=True,    callbacks=[callback],    temperature=0,    openai_api_key=llm_model_dict[model_name]["api_key"],    openai_api_base=llm_model_dict[model_name]["api_base_url"],    model_name=model_name,    openai_proxy=llm_model_dict[model_name].get("openai_proxy"))docs = search_docs(query, knowledge_base_name, top_k, score_threshold)context = "\n".join([doc.page_content for doc in docs])
input_msg = History(role="user", content=PROMPT_TEMPLATE).to_msg_template(False)chat_prompt = ChatPromptTemplate.from_messages(    [i.to_msg_template() for i in history] + [input_msg])
chain = LLMChain(prompt=chat_prompt, llm=model)

复制代码

这种结合 langchain 和 LLM 的方式，特别适合于一些垂直领域或大型集团企业搭建内部私有问答系统，以实现通过 LLM 的智能对话能力。此外，它也适合个人针对英文 paper 进行问答。

2.2 向量数据库

向量数据库（Vector Database）主要用来存储和处理向量数据。

向量是一种数据表示方式，用于描述对象的特征或属性。每个向量代表一个单独的数据点，例如一个词或一张图片，由描述其多个特性的值的集合组成。这些值有时被称为“特征”或“维度”。例如，一张图片可以表示为像素值的向量，整个句子也可以表示为单词嵌入的向量。

一些常用的数据向量如下：

图像向量：通过深度学习图像识别。

文本向量：通过词嵌入技术如 Word2Vec、BERT 等生成的文本特征向量，这些向量包含了文本的语义信息，可以用于文本分类、情感分析等任务。

语音向量：通过声学模型从声音信号中提取的特征向量，这些向量捕捉了声音的重要特性，如音调、节奏、音色等，可以用于语音识别。

原生的向量数据库是专门为存储和检索向量而设计的。包括 Chroma, LanceDB, Marqo, Milvus/ Zilliz, Pinecone,Qdrant,Vald,Vespa, Weaviate 等, 所管理的数据是基于对象或数据点的向量表示进行组织和索引。

Milvus 是基于 Faiss、Annoy、HNSW 等向量搜索库构建的，可以轻松管理数百万个实体。它可以根据不同的数据特点选择最合适的索引算法，核心是解决稠密向量相似度检索的问题。除了向量检索，Milvus 还支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询和 time travel 等功能。同时，它还大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。

Milvus 还提供了多种客户端 SDK，如 Python、Java、C++等，使得用户可以方便地使用不同的编程语言来访问和操作 Milvus。

2.3 Embedding 在大模型中的价值

2.3.1 Embedding 模型的重要性

Embedding 模型是一种将词、短语或整个句子转化为向量形式的技术，够捕捉到语义的丰富含义，使计算机可以像处理数字一样来处理文本。在大语言模型时代，Embedding 模型可以帮助大模型处理更长的上下文，也可以将大模型与私有数据结合。它几乎可以用来表示任何事情，如文本、音乐、视频等，但在这里我们主要关注文本的 Embedding。

Embedding 模型的重要性在于它可以表示单词或语句的语义。实值向量的 Embedding 可以表示单词的语义，这是因为这些 Embedding 向量是根据单词在语言上下文中的出现模式进行学习的。例如，如果一个单词在某些上下文中经常与另一个单词一起出现，那么这两个单词的嵌入向量在向量空间中就会有相似的位置，这意味着它们具有相似的含义和语义。