大语言模型幻觉检测新工具与数据集

新工具与数据集助力大语言模型幻觉检测

大语言模型（LLMs）虽能力卓越，却存在“幻觉”问题——生成看似合理但事实错误的断言。某些幻觉极为细微，例如日期误差仅一两年。

为检测此类细微幻觉，某机构推出 RefChecker，包含新型幻觉检测框架和基准数据集。与以往基于句子或短语的检测方法不同，RefChecker 采用知识三元组（<主体, 谓词, 客体>结构，类似知识图谱）表征事实，可对 LLM 输出进行更精细的评估。

基准数据集特点

• 三种场景：

• 零上下文：LLM 无参考文本直接生成答案（100 例）；

• 噪声上下文：提供可能含错误信息的检索文档（RAG 场景，100 例）；

• 精确上下文：提供单一准确文档（100 例）。

检测方法创新

1. 参考来源：支持三种任务设置（开放问答、检索增强生成、摘要生成），数据源自 NaturalQuestions、MS MARCO 等公开集。

2. 评估粒度：将响应分解为知识三元组，例如句子“Richard Mulligan 在《The Partridge Family》中饰演 Mr. Kincaid”可拆解为：

3. <Richard Mulligan, 饰演角色, Mr. Kincaid>
   

4. <Mr. Kincaid, 所属作品, The Partridge Family>
   

5. 声明分类：

6. 蕴含（绿色√）：参考支持；

7. 矛盾（红色×）：参考反驳；

8. 中性（橙色？）：证据不足需进一步验证。

技术流程

RefChecker 包含两个可配置模块：

• 声明三元组提取器（E）：当前版本使用 GPT-4 和 Claude 2，后续将开源 Mixtral-8x7B 提取器；

• 幻觉检查器（C）：支持 GPT-4、Claude 2 和 RoBERTa-NLI 自动检查，未来将增加 AlignScore 等开源方案。多数投票结果与人工标注一致性最佳。

使用方式

该研究认为，精准识别细粒度幻觉是制定缓解策略的第一步。反馈可通过 GitHub 提交，欢迎贡献改进。

致谢：Lin Qiu, Zheng Zhang 更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手