OpsPilot 技术解析:Embedding 重构语义空间,混合检索突破知识边界

直达原文:OpsPilot功能上新:Embedding重构语义空间,混合检索驱动知识发现(内附体验环境)
随着技术的快速发展,检索增强生成(RAG)成为构建智能知识库的核心方案。嘉为蓝鲸 OpsPilot 基于 RAG 技术打造高效知识处理体系,在 RAG 预处理环节,提取与分块技术通过精准解析文档结构、拆分语义单元为后续处理奠定基础。而在知识处理的 “下半场”,Embedding 与 检索 作为连接预处理与大模型应用的关键桥梁,前者做“翻译家”,把文本变成机器能懂的数字密码,后者则是 “导航器”,用这些密码在知识库快速找到答案。

在 RAG 系统中,Embedding 起到两次关键转换的作用。一是接收预处理过后的文本块,将其转为高维向量存于数据库。二是用户提问时,Embedding 模型将问题转为 “问题向量”,系统匹配 “相似向量”,提取对应文本内容与问题构成提示词,输入大语言模型(LLM),生成回答,完成对话检索闭环。

在 OpsPilot 中,Embedding 和检索设置是怎么相互协作发挥优势的呢?
1)Embedding :将文本转化为向量,以数学形式捕捉语义特性与关系,使计算机能够 “理解” 数据
其核心是接收文本分块并转化为高维向量,映射至空间中;
语义相近则向量位置近。例如“猫在沙发上睡觉”,计算机本无法理解,经 Embedding 模型,“猫”“沙发”等被转成特定向量,且语义相近的词(如“猫”与“小猫”)向量靠近,无关的则远离。它为词在数学空间分配“地址”,使计算机能理解词及关系,进行距离计算等操作,为检索、分析等奠基。
2)检索设置:通过向量相似度匹配,从海量知识库中快速定位相关信息
以混合检索(文本 + 向量)为例,结合关键词搜索与向量语义搜索,通过打分机制综合判断,既能利用关键词快速过滤,又能通过向量相似度挖掘深层语义关联;
在知识库中,这种检索方式可避免传统关键词检索的片面性,确保在复杂知识体系中高效获取相关内容,为用户提供更准确、全面的知识支持。
01.OpsPilot 的 Embedding 模型
OpsPilot 目前已经内置 2 个常用的 Embed 模型,具体有如下优势:
1)FastEmbed (BAAI/bge - small - zh - v1.5) 模型
其作用与优势如下:
模型专为中文语境优化,对中文语境的适应性强;
对复杂语义及领域术语理解精准深入;
计算效率高且资源消耗低:其 95M 的轻量体积使其在 GPU 显存不足时仍可于 CPU 运行,尤其适合大规模数据处理场景。
2)bce - embedding - base_v1 模型
模型架构特点与多数据格式兼容性;
跨领域知识融合能力,在不同行业场景的应用优势显著;
模型稳定性强,可确保长期稳定运行,满足多样化业务需求。

02.OpsPilot 检索机制
拥有了文本分块和向量空间数据,OpsPilot 使用三种检索设置实现对知识库的高效、精准检索。

纯文本搜索:基于关键词搜索技术,从大量文本数据中搜索并提取相关文档。提供 “匹配”(模糊查找包含特定关键词的文档)和 “精确匹配”(严格要求关键词按指定顺序相邻出现)两种模式。适用于明确关键词的场景,当用户使用明确关键词时,文本搜索可快速过滤。

纯向量搜索:利用向量空间模型,计算向量空间中的向量和问题向量间的相似度,从而找到最匹配的数据。可设置返回数量(最终展示的最相似分块数量)和候选数量(初步筛选后可能相关的分块总数)。可挖掘语义层面的关联信息,弥补关键词搜索的局限性,例如,当用户查询含模糊语义时,向量搜索能通过语义相似性定位相关知识。

混合检索:同时开启文本搜索与向量搜索,系统会根据各自权重综合打分,兼顾关键词匹配和语义相似性,将最终结果按打分从高到低展示,提升检索全面性与准确性。

嘉为蓝鲸 OpsPilot 基 RAG 技术,通过预处理-Embedding-检索三阶体系构建智能知识库。Embedding 转换文本为语义向量,混合检索融合关键词匹配与向量搜索,内置双模型适配中文及跨领域场景,实现精准语义关联与高效知识闭环,赋能智能运维。
03.嘉为蓝鲸 OpsPilot——更懂运维的 AI 平台
嘉为蓝鲸 OpsPilot 是集知识库管理、技能配置、机器人管理和工具管理为一体的智能运维支撑平台,深度融合 LLM 大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一 LLM 能力局限,成为更懂运维的智能 AI 平台。

评论