写点什么

AI 有多会瞎编?深度解析大模型的“幻觉”机制

作者:Techinsight
  • 2025-06-24
    广东
  • 本文字数:995 字

    阅读完需:约 3 分钟

我们先了解一下,什么是大模型“幻觉”

大模型幻觉(AI hallucination 或 Model Hallucination)是指 AI 基于概率生成的”自信型错误“,输出看似合理但完全失实的内容,像极了人类”不懂装懂“的样子。

AI 一本正经地胡说八道

像学霸写作业时「虚构参考文献」 → 明明不知道,偏要假装很懂(dbq,有点茶了 ) → 用概率拼凑出”看似合理“的错误答案(哼,还自带理直气壮的气场!)

大模型幻觉的分类 从学术界的共识来看

大模型的幻觉可以分成两大类

▪️事实性的幻觉:包括事实不一致和捏造事实两类。

▪️忠实性的幻觉:包括不遵循指令和不遵循上下文两类


为什么会”幻觉“?

▪️数据偏差:训练语料中的矛盾/错误信息

▪️过拟合:对模糊问题强行自圆其说

▪️创造性“溢出”:文本生成>事实核查


避坑指南

温度系数调整: 控制生成随机性(temperature 参数调低至 0.3-0.7),减少天马行空,后续会专门介绍温度系数,这是大模型非常重要的一个参数;

知识边界声明: 提示词加锚点限制范围:”请仅基于 XXX 条文回答,不确定请说明“、“请基于可靠来源回答”,能一定程度上避免幻觉现象,但不能做到 100%避免;

代码幻觉防御: 开发时用 RAG(检索增强生成),实时接入数据库/知识图谱修正结果  【冷知识】技术越强,幻觉越具欺骗性!GPT-4 的幻觉率比 GPT-3.5 低 15%,但依然可能把”不存在的研究“写得像 Nature 论文

总结:幻觉的问题目前是无法解决的,所以个人需要辨别的去使用大模型,不要啥都直接复制黏贴。企业就要非常谨慎,一旦发生什么问题,很容易对工作造成很大的影响,目前市面上有蛮多的垂直类的智能体公司,可以参考使用


国内优秀企业(企业型/垂直领域型)

金智维 Ki-AgentS:在金融圈以 90%占有率,助力企业流程自动化,金融圈以安全稳定为金标准,其 RPA 基础能力过强,融合了 AI 技术后,迅速以 Ki-Agent 系列智能体产品,拓展其垂直领域的影响力。

羚数智能:百工工业大模型成为国内首个备案的工业垂类大模型,服务振华重工等龙头企业。

AI Agent 正从概念验证走向规模化应用,通用型智能体(如微软、谷歌)、行业专用工具(如金蝶、金智维)和开源框架(如 Dify、MetaGPT)构成了当前市场的三大支柱。技术上,多模态交互、自主决策和安全合规是核心竞争力;商业上,企业端场景(如财务、供应链)和垂直领域(如工业、医疗)的落地效率成为竞争焦点。随着开源生态的成熟和算力成本的下降,AI Agent 有望在 2025 年迎来爆发式增长,重塑人机协作的未来。

用户头像

Techinsight

关注

分享科技前沿,分享AI 智能的每一块拼图 2024-10-12 加入

这里是AI爱好者的思维共振场!

评论

发布
暂无评论
AI 有多会瞎编?深度解析大模型的“幻觉”机制_Techinsight_InfoQ写作社区