一个直接把大模型回答当权威答案展示给用户的功能,因为模型一本正经地编造了一个不存在的政策条款,把用户彻底带偏:一次 LLM 幻觉的深度复盘

那个事故是用户投诉炸出来的:我们做了一个"智能客服",让大模型直接回答用户关于产品政策、退换货规则的问题。上线后用户反馈普遍不错,可没多久就来了一桩严重投诉——有用户拿着我们客服的回答来质问:客服言之凿凿地告诉他"本产品支持 30 天无理由全额退款,且运费由我方承担",结果他真去退的时候,被告知根本没有这条政策。我去翻了那次对话和我们的知识库,后背发凉:我们的知识库里压根没有这条政策,模型是凭空编造出来的——它"一本正经地胡说八道",用极其笃定、专业、可信的语气,说出了一个完全不存在的条款。这就是大模型的"幻觉(hallucination)":大模型本质是"预测下一个最可能的词"的生成模型,它追求的是"生成看起来合理、流畅的文本",而不是"保证内容真实"。当它不知道答案、或训练数据里没有时,它不会说"我不知道",而是会"编一个听起来最合理的答案"——而且编得有鼻子有眼、毫无破绽。而我们直接把这个回答当成"权威答案"展示给了用户,既没有让它基于我们真实的知识库回答、也没有任何事实校验,于是这个编造的条款就被当成了"官方承诺"。这篇就把这次"LLM 幻觉、编造内容"的坑,从头到尾复盘一遍。

故障现场:直接把模型回答当权威答案

问题代码,是一个让模型"自由发挥"回答事实性问题的写法:

# ✗ 出问题的代码: 直接让模型回答, 把输出当权威答案
def answer_policy_question(question: str) -> str:
    resp = llm.chat([
        {"role": "system", "content": "你是客服, 回答用户关于产品政策的问题"},
        {"role": "user", "content": question},
    ])
    return resp.choices[0].message.content   # ✗ 直接当权威答案返回给用户!

# 用户问: "你们支持多少天退款?运费谁出?"
# 模型答(幻觉): "本产品支持30天无理由全额退款, 且运费由我方承担。"
#   ——而我们的知识库里【根本没有】这条政策, 是模型【编的】!
#   但它说得极其笃定、专业、可信, 用户完全信了 → 退款时发现没这政策 → 投诉。

# 为什么模型会"编":
# - 大模型本质是"根据概率预测下一个最可能的词", 目标是"生成流畅合理的文本";
# - 它【没有"我必须说真话/说不知道"的机制】, 也分不清"我知道"和"我在编";
# - 当它不知道、或训练数据没有时, 它倾向于"编一个最合理的答案", 而不是承认不知道;
# - 而且它编得【极其自信、流畅、专业】——这正是幻觉最危险的地方: 听起来太可信了。

# 我们犯的三个错:
# - 1. 没让它"基于我们真实的知识库"回答(它在用它训练时的、泛泛的、可能错的知识瞎答);
# - 2. 没要求它"标注来源/不知道就说不知道";
# - 3. 没有任何"事实校验/人工复核", 直接把它的话当官方承诺展示。

# 关键: LLM会"幻觉"——自信地编造不存在的内容; 直接把它对事实性问题的回答当权威答案,
#       会传播错误信息、误导用户、甚至造成法律/信任风险。

第一次意识到这是"幻觉"时,我又惊又怕:"它怎么能编得这么像真的?用户和我们都被它骗了。"这个坑最危险的地方,正是幻觉的"高可信度"——模型编造的内容,语气笃定、表述专业、逻辑流畅,和它说真话时看起来一模一样;你无法从"它说得多自信"来判断"它说的是真是假"(它编的时候反而可能更流畅)。更要命的是它的后果:在客服、医疗、法律、金融这种对准确性要求极高的场景,一条自信的幻觉就可能误导用户、造成实际损失、甚至引发法律和信任危机。下面就来拆解,幻觉为什么会发生、该怎么治。

第一件事:搞懂 LLM 为什么会"幻觉"

我认真梳理了大模型幻觉的成因,才理解该如何对付它。

LLM 为什么会"幻觉"(自信地编造)?

【核心: LLM是"预测下一个词"的生成模型, 目标是"流畅合理", 不是"真实"; 它没有"知道/不知道"的可靠区分, 不知道时倾向于编】

1. 幻觉(hallucination)是什么:
   - 模型生成了"看起来合理、但实际上错误或不存在"的内容, 且通常表述得很自信;
   - 不是偶尔的bug, 而是生成式模型的【固有特性/局限】。

2. 为什么会发生:
   - LLM本质是"根据概率, 预测下一个最可能的词", 拼出流畅的文本;
   - 它的训练目标是"生成像样的文本", 【不是"保证事实正确"】;
   - 它【没有可靠的机制】去区分"我真的知道这个事实"和"我在根据语言模式编一个像样的";
   - → 当它不知道、或知识有空白/过时, 它会"用最可能的词填上", 编出一个流畅的答案。

3. 为什么编得这么"自信":
   - 它学的是人类文本的表达方式, 而人类陈述事实时通常是肯定、流畅的;
   - → 它编造时也用这种"肯定、流畅"的语气, 所以听起来和真话一样可信;
   - → "自信"和"正确"在LLM这里【完全没有关系】, 别拿自信程度判断真伪。

4. 哪些情况更容易幻觉:
   - 问它训练数据里没有/很少的事实(冷门、最新、你私有的业务知识);
   - 问具体的数字、日期、引用、条款、API细节(它容易"编个像样的");
   - 问"是否存在某东西"(它可能"为了回答而虚构出一个")。

5. 关键认知: LLM是"语言专家", 不是"事实数据库";
   - 它擅长理解、改写、推理、生成语言; 但它的"事实知识"是不可靠的、可能过时/错误/编造的;
   - → 别把它当"无所不知的、准确的知识库"用。

一句话: LLM是预测下一个词的生成模型、目标是流畅而非真实, 不知道时会自信地编造(幻觉);
   且编得和真话一样可信(自信≠正确); 它是语言专家不是事实数据库, 事实性问题不能直接信它。

这套认知,是整个坑的根。幻觉是什么:模型生成了"看起来合理但实际错误或不存在"的内容、且表述自信;不是偶尔的 bug,而是生成式模型的固有特性。为什么会发生?LLM 本质是"根据概率预测下一个最可能的词"拼出流畅文本,训练目标是"生成像样的文本"而非"保证事实正确",它没有可靠机制区分"我真知道"和"我在编",不知道时就"用最可能的词填上"编出流畅答案。为什么编得自信?它学的是人类陈述事实时肯定流畅的表达方式,编造时也用这种语气,所以"自信"和"正确"在 LLM 这里完全无关,别拿自信程度判断真伪。哪些更易幻觉?训练数据没有/很少的事实(冷门、最新、你私有的业务知识)、具体数字/日期/引用/条款/API 细节、"是否存在某东西"。关键认知:LLM 是"语言专家"不是"事实数据库"——擅长理解/改写/推理/生成语言,但"事实知识"不可靠(可能过时/错误/编造),别当无所不知的准确知识库用。一句话:LLM 是预测下一个词的生成模型、目标是流畅而非真实,不知道时会自信地编造(幻觉);且编得和真话一样可信(自信≠正确);它是语言专家不是事实数据库,事实性问题不能直接信它。

第二件事:正解——用 RAG 基于真实材料回答、要求引用来源、关键事实校验

搞懂了原理,正解就清晰了:用 RAG 让模型基于检索到的真实知识库回答(而非凭记忆瞎编)、要求标注引用来源、明确"材料里没有就说不知道"、对关键事实做校验或人工复核、降低温度。

# ====== 正解一(核心): 用 RAG, 让模型【基于检索到的真实材料】回答 ======
def answer_policy_question(question: str) -> dict:
    # 1. 从我们【真实的知识库】检索相关的政策条款
    docs = knowledge_base.search(question, top_k=5)
    if not docs:
        return {"answer": "抱歉, 我没有查到相关政策, 请联系人工客服。", "sources": []}

    context = "\n".join(d.text for d in docs)
    # 2. 让模型【只根据给定材料】回答, 并明确约束
    resp = llm.chat([
        {"role": "system", "content":
            "你是客服。【只能根据下面提供的政策材料回答】, 不得编造、不得使用材料外的知识。"
            "如果材料里没有相关信息, 必须明确回答'材料中未找到相关政策, 建议咨询人工客服', "
            "绝不要自己猜测或编造。回答时请标注依据的条款。"},
        {"role": "user", "content": f"政策材料:\n{context}\n\n用户问题: {question}"},
    ], temperature=0)   # 低温度, 减少发挥
    return {"answer": resp.choices[0].message.content, "sources": [d.id for d in docs]}
# → RAG把模型从"凭记忆瞎答"变成"基于我们真实的、最新的材料答";
#   并约束"没有就说不知道"——大幅减少幻觉, 且答案可溯源。

# ====== 其他防幻觉手段 ======

# 正解二: 要求"引用来源/给出依据"
#   - 让模型回答时标注"依据哪条材料/哪个文档", 既方便核实, 也约束它别脱离材料编。

# 正解三: 明确允许并鼓励"说不知道"
#   - 在prompt里明确: "不确定/材料没有, 就说不知道, 这比编一个错的好" ——
#     抵消模型"倾向于给个答案"的本能。

# 正解四: 关键场景做事实校验 / 人工复核
#   - 高风险信息(政策/金额/医疗/法律)不能全自动: 关键结论要和权威数据源核对, 或经人工审核;
#   - 或把模型的角色限定为"辅助"(给草稿/给候选), 最终由人/规则把关。

# 正解五: 降低温度 + 选更强的模型
#   - 事实问答用低temperature(减少随机发挥); 用更强/更新、幻觉更少的模型。

# 正解六: 给用户"这是AI生成、可能有误"的提示
#   - 明确告知用户答案由AI生成、建议核实重要信息 —— 管理预期, 降低被误导的风险。

# 核心: 事实性问答用RAG基于真实材料回答(别凭记忆)、要求引用来源、明确"没有就说不知道"、
#   关键信息做校验/人工复核、低温度; 把LLM当"基于材料的语言助手", 而非"权威事实来源"。

修复的核心,是"让模型基于真实材料回答、能溯源、并对关键事实把关"。正解一(核心):用 RAG 基于检索到的真实材料回答——从真实知识库检索相关条款,让模型只根据给定材料回答、不得编造、材料里没有就明确说不知道,把它从"凭记忆瞎答"变成"基于我们真实最新的材料答",答案可溯源。正解二:要求引用来源(方便核实、约束别脱离材料)。正解三:明确鼓励"说不知道"(抵消它"倾向给答案"的本能)。正解四:关键场景做事实校验/人工复核(高风险信息不全自动,模型只做辅助)。正解五:降低温度+用更强模型;正解六:给用户"AI 生成可能有误"的提示。归根结底:事实性问答用 RAG 基于真实材料回答(别凭记忆)、要求引用来源、明确"没有就说不知道"、关键信息做校验/人工复核、低温度;把 LLM 当"基于材料的语言助手"而非"权威事实来源"。

第三件事:LLM 应用里事实可靠性相关的其他常见坑

排查后我把 LLM 应用中"事实可靠性"相关的其他常见坑也系统梳理了一遍。

LLM 事实可靠性的其他常见坑

# 1. 直接信幻觉(本文): 把模型对事实的回答当权威。→ RAG+引用+校验+说不知道。

# 2. 知识过时: 模型训练有截止时间, 不知道之后的事(却可能编)。→ RAG接入实时/最新数据。

# 3. 编造引用/链接/数字: 模型会编出"看起来真"的论文引用、URL、条款号、统计数字。→ 核实。

# 4. 把推理当事实: 模型"推理出"的结论可能逻辑有误却说得很对。→ 关键推理要验证。

# 5. 越具体越危险: 问越具体的细节(精确数字/日期/条款), 越容易编得像。→ 具体信息必核。

# 6. 用模型做计算/统计: LLM不是计算器, 算数会错。→ 用代码/工具算, 别让它算。

# 7. 长对话里"记错"前文: 上下文长了, 模型可能把前面说过的记错/编造。→ 控制上下文、关键信息固定。

# 8. 用户诱导/迎合: 模型倾向"迎合"用户的预设(你问"是不是X", 它倾向说"是")。→ 中立提问。

# 共同根源: 把LLM当成"准确、权威、无所不知的事实来源", 而它其实是"流畅但可能编造的语言生成器";
#   它的语言能力极强、事实可靠性却没保证——混淆这两者, 就会传播错误信息。

# 核心: 把LLM当"语言助手"非"事实权威"; 事实问答靠RAG基于真实材料+引用溯源+说不知道+关键校验;
#   计算交给工具、具体信息必核实、给用户AI可能出错的提示; 让它的语言能力服务于可靠的事实。

排查让我把事实可靠性的其他坑也梳理清了。一、直接信幻觉(本文)。二、知识过时(RAG 接入最新数据)。三、编造引用/链接/数字(必核实)。四、把推理当事实。五、越具体越危险(具体信息必核)。六、用模型做计算(用工具算)。七、长对话记错前文。八、用户诱导/迎合。它们的共同根源是:把 LLM 当成"准确、权威、无所不知的事实来源",而它其实是"流畅但可能编造的语言生成器";它语言能力极强、事实可靠性却没保证——混淆这两者就会传播错误信息。核心是:把 LLM 当"语言助手"非"事实权威";事实问答靠 RAG 基于真实材料+引用溯源+说不知道+关键校验;计算交给工具、具体信息必核实、给用户 AI 可能出错的提示。下面这张图,是这次 LLM 幻觉坑的成因与解法:

第四件事:LLM 该不该信、怎么用的速查表

这次踩坑后,我把"什么任务能信 LLM、什么不能、怎么用"整理成一张表。

这张表把"LLM 能信不能信"钉清了。核心是:LLM 的可信度取决于任务类型——"语言加工类"任务(改写/翻译/总结)是它的强项、较可信;"基于给定材料"的问答(RAG)较可信;但"凭记忆答事实、做计算、要最新信息、高风险结论"则不能直接信;关键是分清"它在做语言加工"还是"它在提供事实"。它给我的最大启发是:用好 LLM 的前提,是清醒地认识它"能力的边界"——知道它"什么擅长、什么不擅长、什么靠谱、什么不靠谱"——它是个"语言天才"(理解和生成语言极强),但不是"事实专家"(知识不可靠)、也不是"计算器"(算数会错);"扬长避短": 把任务里"语言加工"的部分交给它(发挥长处), 把"事实、计算、精确"的部分交给可靠的来源/工具(避开短处)。这给了我一种设计 AI 应用的核心思路:不要指望 LLM "包办一切", 而要把它放在它擅长的位置上、用可靠的组件补足它的短板——"LLM 负责理解和表达, RAG/数据库负责提供事实, 代码/工具负责精确计算, 人/规则负责高风险把关";"让每个部分做它最擅长的事、各司其职", 才能扬 LLM 之长、避 LLM 之短, 做出既智能又可靠的系统。认清 LLM 的能力边界、扬长避短地组合使用——是这个幻觉坑带给我的认知。

第五件事:LLM 的"自信"是一种危险的伪装

这次最让我警醒的,是模型编造时的"自信"。我把"人的不确定表达"和"LLM 的表达"对比成表。

这张表道出了 LLM 一个极具迷惑性的特点。核心是:人在不确定时通常会流露出犹豫(说"可能""我不太确定"),所以我们习惯于从语气判断对方的把握程度;但 LLM 无论知不知道、对不对,都用同样笃定流畅的语气——它的"自信"和"正确性"完全脱钩;你用"听人说话"的直觉(自信=有把握)去听 LLM,会被它的伪自信彻底误导。它给我的深刻启发是:和 LLM 交互,要主动卸载掉一个深植于人际交流的直觉:"说得越肯定越可信"——这个直觉在人类社会大体成立(人会为说错话负责、没把握会含糊),但在 LLM 身上完全失效:它没有"为说错话羞愧/负责"的机制,编造时和说真话时一样理直气壮;"把 LLM 的'自信'当成它'正确'的证据",是人机交互里一个极危险的误判。这给了我一种和 AI 打交道的清醒:对 LLM 输出的"可信度"判断,绝不能靠它"说得多笃定",而要靠"它的依据是否可溯源、是否经过校验"——"看它给的证据, 而不是听它的语气";更进一步, 要对 LLM 输出保持一种"默认存疑、重要的去核实"的健康怀疑, 尤其是涉及事实、数字、和重要决策时;"不轻信流畅自信的表达, 只相信可验证的依据", 是 AI 时代必备的信息素养。看穿 LLM 自信的伪装、靠可验证的依据而非语气判断可信度——是这个坑带给我的、关于和 AI 打交道的深层认知。

第六件事:用 LLM 回答问题时,我现在的判断习惯

现在每当我要用 LLM 回答用户的问题,我都会按这张图先想清楚:

这张图的精髓,是"事实问题别凭记忆信它,用 RAG+引用+校验,高风险人工把关"。语言加工放心用;事实性问题则:有来源就 RAG 基于材料回答+引用、没有就接数据源/工具别凭记忆、高风险人工校验、并要求没有就说不知道。这套习惯,让我从"有问题就丢给模型答"变成了"先分清是不是事实问题、有没有可靠来源"——核心始终是:LLM 是语言助手不是事实权威,事实问答要基于真实材料、可溯源、关键校验。

我立下的几条规矩

这场"LLM 编造政策、误导用户"的事故,换来了我做 LLM 应用时,刻进骨子里的几条铁律:

1. LLM 会幻觉——自信地编造不存在的内容。这是生成模型的固有特性,不是偶发 bug。
2. 自信 ≠ 正确。它编造时和说真话一样笃定流畅,别靠语气判断真伪。
3. 事实性问题用 RAG 基于真实材料回答。别让它凭训练记忆瞎答。
4. 要求引用来源、材料没有就说不知道。可溯源、抵消它"倾向给答案"的本能。
5. 高风险信息必须校验/人工复核。政策、金额、医疗、法律不能全自动。
6. 计算交给工具、最新信息接数据源。LLM 不是计算器、不是实时数据库。
7. LLM 是语言助手,不是事实权威。扬其语言之长、避其事实之短。

写在最后

回头看,这场由"模型编造了一条政策"引发的、误导用户的事故,真正教给我的,远不止"事实问答要用 RAG"这一个技巧。它让我对"我们太容易因为一个东西'表现得像'某种角色,就赋予它那个角色的'信任'",有了一次刻骨的体会。我栽跟头,根源在于我把 LLM "表现得像"一个无所不知的专家,误当成了它"真的是"一个可信的专家。它说话那么流畅、那么专业、那么自信,完全是一副"权威专家"的样子——于是我下意识地给了它"对待专家"的那种信任,直接把它的话当成了权威答案。可"表现得像专家"和"真的是可靠的专家"是两回事:LLM 完美地模仿了专家的"语言风格"(流畅、自信、专业),却不具备专家的"事实可靠性"(它会编);我被它逼真的"形似"骗了,忽略了它在"神"(可靠性)上的欠缺。这让我领悟到一个 AI 时代尤其重要的认知:AI(尤其生成式 AI)极其擅长"模仿某种角色/风格的表象"——它能写出像专家、像律师、像医生、像权威报告的文字, "形"惟妙惟肖;但"形似"不代表"实质可靠";"它听起来像"和"它真的是/真的对"之间, 隔着一道我们极容易因为表象而忽略的鸿沟;越是逼真的模仿, 越容易让我们放松警惕、给予不该给的信任。这给了我一种 AI 时代的清醒:不要因为 AI 的输出"看起来专业、可信、权威",就轻易相信它的实质内容——要把"它的表达形式(很专业)"和"它的内容实质(对不对)"分开判断:形式可以欣赏, 但实质必须验证;"不被逼真的表象所迷惑, 始终对实质保持独立的核实"——这是和强大的生成式 AI 共处时, 必须守住的一道理性底线。看穿 AI"形似"专家不等于"实质可靠"、把表达形式与内容实质分开判断——这,是我用一次 LLM 幻觉的事故,换来的、关于 AI、也关于如何在 AI 时代保持理性判断的、最朴素也最深刻的领悟。如果这篇复盘,能让你下次看到 AI 给出的、流畅自信的事实性回答时,多一句"它的依据是什么?我核实过吗?",那我们那次被编造的政策坑到的用户投诉,就还算买了个教训。

—— 别看了 · 2026