真实场景

你问大模型：「公司 2023 年 Q4 净利润是多少？」它斩钉截铁地答：「8230 万元，环比增长 17%。」一听专业又熟练，一查财报——纯属胡说八道。

它不是听不懂问题，也不是犯了低级错误。它只是演得很好。

一、大模型不是“理解”，而是“查了点资料”

很多人以为大模型是在“理解并回答”，但在越来越多的真实场景中，它的“聪明”其实来自一个辅助工具：RAG。

RAG 是什么？全称是 Retrieval Augmented Generation ，检索增强生成。

它的工作机制很简单：

1. 先检索：从知识库里捞出几段「可能相关」的内容；

2. 再生成：模型接过这些段落，重新组织成一段自然语言。

看起来就像一次开卷考试。

但关键在于——

• 它翻的是不是对的资料？

• 它真的用了吗？

• 它有没有自己“发挥”了一段？

二、RAG 为什么这么容易“胡说八道”？

RAG 并不是万能解药，它在实际应用中面临不少挑战：

• 命中错内容：检索模型基于语义相似度，但“相似”不等于“相关”。

• 上下文过载：把检索到的全部段落塞进去，Token 超长，重点被淹没。

• 提示词不够清晰：Prompt 里没写清「只能引用以下内容」，模型照样自由发挥。

• 文档版本滞后：知识库更新不及时，引用的是过期资料，答错却“答得有模有样”。

结果是：你以为模型理解了，其实它只是把错的材料，用对的语气说了出来。

三、想让它别“演”，靠的不是猜，是 监控 + 评估

你必须掌握这三件事：

1. 看得清每一次提问，能不能看到：

• 它检索了哪些段落？

• 用了哪几段？

• 有没有引用之外的内容？

• 有没有明显的“演”？

2. 评得出不能只看“生成得好不好看”，而是要给这次回答打上标签，比如：

• 回答准确性：高 / 中 / 低

• 内容相关性：完全相关 / 部分相关 / 不相关

• 风险等级：高 / 中 / 低这些标签不光是标记，更是团队协作的语言。它能快速标识问题链路、发现规律、聚焦重点。

3. 改得动评估标签不是终点，而是下一次优化的起点：

• Retriever 命中率低 → 改召回策略

• 上下文太长 → 精简拼接逻辑

• Prompt 乱写 → 引导模型别“演”

只有看得清、评得出、改得动，RAG 应用才能走出“黑盒幻觉”的死循环。

四、塞讯科技 Lighthouse 平台如何帮你“把戏演穿”

我们的 Lighthouse 平台，正在帮助团队实现这些能力落地：

• Trace 全链路：还原从用户提问到模型生成的每一个步骤，包含检索命中、上下文拼接、最终输出等信息；

• 检索内容审计：展示模型检索到了哪些段落、拼接后的提示词，一眼可见；

• 评估优化系统：产品内支持快速打标签，例如 准确性/相关性 等，帮助你在日常使用中积累高质量评估数据；

• Token 与成本分析：理解上下文拼接、冗余 Token 如何影响成本和响应质量。

我们不止是“发现它在演”，更重要的是——帮你找出它“为什么演、哪里演、怎么改”。

Lighthouse 是由塞讯科技打造的全栈可观测平台。我们提供 LLM 调用链追踪、Prompt 管理、Token 分析、大模型评估等核心能力，帮助团队构建更可靠的大模型系统。如果你正在构建 RAG 应用，欢迎留言交流，我们乐意分享更多实践经验。