幻觉与校准

幻觉不可消除的数学本质

大语言模型在拟合联合概率分布 P(xₜ | x₁, …, xₜ₋₁)。面对边缘知识（训练数据中罕见的事实组合）时，它必定通过相邻概念的概率权重强行插值给出一个输出。

这种机制在创意领域叫泛化，在事实领域就是幻觉。

对齐税 (Alignment Tax)

RLHF 训练了讨好人类的 Reward Model，导致模型学会了**“谄媚 (Sycophancy)”**——宁愿编造假文献，也不愿因诚实回答”我不知道”而获得低分。

校准问题 (Calibration)

模型对自己输出的置信度和实际准确率不匹配。当前 LLM 校准极差——几乎对所有输出都表现得同等自信，无论对错。

“感知可靠性 ≠ 实际准确率”——用户无法从模型的输出语气判断其可信度。

产品应对策略

外部护栏 (Guardrails)：RAG 提供事实锚点 + 裁判模型事实核查
不确定性外显：logit 分布熵值高时在 UI 标注”低置信度”
可溯源设计：每条输出可追溯到来源

相关章节

[!quote]+ 📎 证据池 · 20 条 · 自动生成于 2026-05-16

A 级精读

OpenAI正在押注一场系统级豪赌｜奥特曼最新重磅访谈-2025-10-09 · 2025-10-09 · 10月9日消息，DevDay大会落幕后，山姆・奥特曼再次登上Stratechery访谈节目。这一次，他不谈模型，不谈AG

AI Agent 主流的设计模式（ReAct,Reflection,LATS）其实没有很复杂。-2025-09-30 · 2025-09-30 · 小白也能快速看懂的 AI Agent 主流的设计模式🐶。

斯坦福李飞飞《AI Agent：多模态交互前沿调查》论文-2024-11-21 · 2024-11-21 · 多模态AI系统很可能会在我们的日常生活中无处不在。将这些系统具身化为物理和虚拟环境中的代理是一种有前途的方式，以使其更加

15种典型RAG框架：卡内基梅隆大学最新RAG综述-2024-11-21 · 2024-11-21 · 如遇无法添加，请+ vx: iamxxn886

自由意志是一场幻觉吗？-2024-11-21 · 2024-11-21 · 凯文·J.米切尔作者本文节选自《超凡智能体：从生命起源到AI智能体》我们能够完全掌握自己的命运吗？抑或我们感受到的

给孩子的信：你将在两万多天后死去，在此之前…… - 死亡与游戏的哲思【文稿】-2024-10-03 · 2024-10-03 · （视频版扫码观看，时长52min，文稿1.5w字）死亡是，你加上世界再减去你卡尔维诺沐沐你好啊，这是我写给你的第三封

昆廷·斯金纳 - 霍布斯论代表-2024-02-19 · 2024-02-19 · ## 霍布斯论代表本文作者：昆廷·斯金纳，译者：李石 Ⅰ 汉娜·皮特金（Hanna Pitkin）在其名著《代表的概念

人们临终时的真实所言-2024-02-09 · 2024-02-09 · ©Bianca Bagnarelli

徐贲：逆境忧患与抑郁现实主义-2024-02-08 · 2024-02-08 · 忧患感（忧患意识）可以有两个不同的意思，一个是对突发不利情况的担忧，善于察觉生活中的危机，预见坏事的发生，也就是孟子说的

徐贲：什么样的人才能在极权统治之下活得较为舒服？-2024-01-03 · 2024-01-03 · 转载自：经济学原理，来源：三辉图书，最初发表于《经济观察报》米尔顿·迈耶的《他们以为他们是自由的》是一本写作于1950

B/C 级参考 (9 条)

B · 斯坦福神经科学家对谈82岁前海军退役作家：现仍每天4-45am健身，思维锐利如刀，揭秘克服内心阻力的成事心法：「职业选手都是带伤作战的」-2026-04-23 · 2026-04-23

B · 天才不过是能够随心所欲找回童年的状态（天才公式与秘密）：-2025-09-25 · 2025-09-25

B · ChunkRAG：比CRAG提升10个点准确率-2024-11-25 · 2024-11-25

B · 复旦发布：最佳RAG方案-2024-11-24 · 2024-11-24

B · 一文读懂：从RAG到多模态RAG-2024-11-21 · 2024-11-21

B · 氟喹诺酮 - 传染病 - MSD诊疗手册专业版-2024-08-08 · 2024-08-08

B · 轻量化 - 长距徒步装备指南 – 张诺娅-2024-02-20 · 2024-02-20

B · 2023 年的吉光片羽：耐心-2023-12-20 · 2023-12-20

B · 氟喹诺酮 · 9999-99-99