写点什么

智能运维新标杆:OpsPilot 如何通过 RAG+Rerank 突破 LLM 局限?

作者:嘉为蓝鲸
智能运维新标杆:OpsPilot如何通过RAG+Rerank突破LLM局限?

直达原文:OpsPilot功能上新:RAG再强化,Rerank重排序提升检索质量(内附体验环境)


随着大模型技术的迅猛发展,检索增强生成(RAG)已成为构建智能知识库的核心方案。嘉为蓝鲸 OpsPilot 依托 RAG 技术打造高效知识处理体系,提取与分块拆分语义单元,为后续流程筑牢根基;Embedding 及检索将问题与知识库中内容匹配定位。而如果把知识分块比作樱桃,Rerank 就是分拣器:接收初步检索到的知识“樱桃”,再测量每颗樱桃的直径(相关性)和糖分(内容质量),从大到小排列送入 LLM 大模型的“果盘”,而排在需求数量之外的小颗粒、酸涩的樱桃(低相关内容)则被分拣剔除。


01.Rerank 原理与作用


1)Rerank 在 RAG 流程中的生效机制与原理

在 RAG 流程中,经过前期的文档提取分块、Embedding 向量化以及检索步骤后,会初步筛选出一批与用户问题相关的文本内容。然而,这些内容的相关性和质量参差不齐。Rerank 此时介入,它基于特定的算法和模型,对初步检索得到的文本集合进行重新排序,将最相关、最优质的文本内容置于前列。通过“粗筛+精排”优化检索质量,为回答提供优质基础。


Rerank(重排序)的具体实现是通过机器学习模型,捕捉复杂语义(如一词多义、隐含意图),对初步检索结果进行二次语义评估。具体步骤如下:


从而实现以下作用,优化检索结果:

  • 弥补语义短板:突破传统检索的表面匹配,找到“关键词不同但意思相近”的优质内容。

  • 精准筛选排序:通过多维度打分剔除低质信息,让检索结果更聚焦用户真实需求。

  • 输入内容优化:为大模型提供筛选排序后的高质量文档,降低回答偏差风险。


02.OpsPilot 中的 Rerank 模型

OpsPilot 内置了 bce-Reranker-base 模型提供 Rerank 功能,对比其他 Rerank 模型,本模型的核心优势可总结为以下三点:

  • 排序精准性更强:通过大量对比“好内容”和“差内容”训练模型,让模型更会判断语义匹配度,打分更精准,能识别出“堆砌关键词但内容无关”的假相关内容。

  • 轻量高效易部署:采用优化的轻量化设计,在保持高性能的同时降低计算资源消耗,适配多种硬件环境,部署成本远低于同类深度学习模型。

  • 泛化能力更优:预训练覆盖多领域数据,对运维等专业场景的复杂查询适配性强,可灵活处理自然语言的模糊表述,输出稳定可靠的重排序结果。


03.重排序打分效果

在 OpsPilot 的 RAG 过程中,Rerank 在初步检索结果的基础上展开——Rerank 模型接收初步检索得到的文本集合与用户问题,然后对每一个文本与问题的组合进行分析,通过多方面特征进行提取和比对,以分数形式展现各个组合的相关程度。最后,高分的文本会被优先选取并与问题一起构成提示词输入到大语言模型中,输出更精准、更有价值的答案。


04.嘉为蓝鲸 OpsPilot——更懂运维的 AI 平台

嘉为蓝鲸 OpsPilot 是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台,深度融合 LLM 大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一 LLM 能力局限,成为更懂运维的智能 AI 平台。


用户头像

嘉为蓝鲸

关注

研运至简,无限可为 2020-08-13 加入

蓝鲸智云一级技术合作伙伴,中国领先的研发运营一体化解决方案提供商

评论

发布
暂无评论
智能运维新标杆:OpsPilot如何通过RAG+Rerank突破LLM局限?_智能运维_嘉为蓝鲸_InfoQ写作社区