是什么
AI 幻觉指大模型生成了看似合理、表述笃定，实际却与事实不符的内容。它的典型形态不是胡言乱语，恰恰相反——是格式完美的假东西：一篇作者、期刊、年份、页码俱全却不存在的论文；一条编号规整却查无此文的法规；一段流畅自然却被张冠李戴的人物经历。正因为它长得像真的，才比明显的错误更危险。
成因要从生成机制说起。大模型本质上是在给定上下文后预测下一个 token 的概率分布，再按分布采样。它不维护一张「已知事实表」，也没有内建的「这题我不会」开关。当训练语料里关于某个问题的信息稀疏或缺失时，模型并不会因此停下，它依然会挑出最流畅的续写——而最流畅的续写，常常就是一个符合模式的虚构答案。
为什么重要
OpenAI 在 2025 年 9 月发表的研究《Why language models hallucinate》给出了一个容易被忽略的解释角度：幻觉之所以顽固，很大程度上是评测方式造成的。该文由 Adam Kalai、Ofir Nachum、Santosh Vempala 和 Edwin Zhang 撰写，论点是主流基准几乎都按答对率计分——模型蒙一个还有机会得分，回答「不确定」则一定是零分。于是整个训练与评测链条长期在奖励猜测、惩罚承认无知。作者据此提出，单独再加几个「幻觉专项评测」作用有限，真正需要改的是那些主导排行榜的准确率型基准的计分方式。
文中还有一个技术性判断值得记住：生成比分类更难。一个模型也许能正确判断某句陈述是真是假，但让它直接生成答案时，仍不可避免地产生错误——判断题和填空题不是同一个难度。
对使用者来说，实际含义很直接：幻觉不是某个厂商的质量缺陷，而是当前技术路线的结构性副产品。在法律、医疗、财务、学术引用这些「错一处就废掉整篇」的场景里，把模型输出当初稿、把核验当必需步骤，是目前唯一稳妥的用法。
在 AI 产业链中的位置
幻觉位于模型层，但它的后果和缓解方案分布在整条链上。模型层通过训练数据清洗、对齐目标调整、置信度校准来降低发生率；基础设施层通过检索增强生成把外部知识接进上下文，让模型「看着资料答」；应用层则用引用溯源、多模型交叉验证、人工审核环节兜底。围绕这一问题还长出了一批独立供给：事实核验服务、企业知识库治理、Agent 输出审计工具。
RAG 与推理模型能做到什么
RAG 的作用是把问题从「你记得吗」换成「照这份材料回答」。它确实显著降低了编造率，尤其在企业内部知识、产品文档这类封闭域里。但它引入了新的失败点：检索没命中、检索命中了错误文档、文档本身过时、模型在压缩长材料时把两条事实拼错。所以带链接的引用溯源比单纯上 RAG 更重要——能点开核对，才是真的可控。
推理模型通过更长的思考过程来提高一致性，对需要多步计算、逻辑推演的题目帮助明显。但它对纯事实性空白帮助有限：模型不知道某人的生日，推理再久也推不出来，反而可能构造出一条看起来很有道理的推导链，把错误答案包装得更可信。
普通用户的核验习惯
值得固化成肌肉记忆的有三条。第一，凡涉及具体数字、日期、人名、引文、条款，一律回一手来源点开确认，不要因为格式规整就相信。第二，优先要求模型给出可点击的链接，并真的去点——编造的链接通常打不开或指向不相关页面。第三，把同一个问题换个问法再问一遍，前后不一致的地方就是最该核的地方。
反过来，也有几类任务幻觉风险天然较低：改写、翻译、摘要、格式转换、代码重构——这些任务的素材就在上下文里，模型不需要从记忆里取事实。把高风险问法转成低风险问法（先自己提供材料，再让模型加工），本身就是一种有效的降幻觉技巧。