R

Transformer 简洁性的后见偏差

创建 2026-05-16 更新 2026-05-18 3 条双链 共创

Transformer 简洁性的后见偏差

核心论点: Rick 在看 3Blue1Brown 的 LLM 科普后产生一个直觉——Transformer 与 attention 机制 “如此简单”，应该在深度学习早期就被 intuitively 提出来。这条直觉是典型的 后见偏差——简洁性是被 selection effect 反向赋予的，而不是设计时就存在的。

1. 触发：来自科普的简洁感

[!quote] Rick 的关键介入 我在看3Blue1Brown 科普 LLM 的原理。为什么我觉得 transformer 和 attention 机制如此简单，以至于这应该在深度学习的早期就应该被 intuitively 地提出来？为什么会有这种感知

这条对话只有一轮 Rick 提问 + AI 回答。但提问本身已经把核心命题摆出来：简洁感 + 早期可预见性。

2. 后见偏差的三层结构

Rick 的直觉之所以是偏差，因为它至少漏算了三件事：

2.1 看到的是 “胜者” 的简洁

3Blue1Brown 讲解的是 Transformer 这一已经成为标准的架构。在它之前，深度学习领域有 LSTM、GRU、CNN-for-sequence、各种 attention 变体（additive attention、multiplicative attention、global vs local attention）、Memory Networks、Neural Turing Machine 等大量同样 “可以讲清楚” 的架构。它们在当时同样有简洁的科普叙述。Transformer 显得简洁，是因为 selection effect——后续生态围绕它建起来了。失败的同期架构没有得到 3Blue1Brown 这种级别的科普制作。

2.2 简洁的 idea ≠ 可被发现的 idea

Attention 的核心 idea（QKV、scaled dot-product、softmax 加权和、multi-head）每一条单独看都不复杂。但 “把这些组合成完整 Transformer 块” 需要：

  • 抛弃 RNN 的时序递归 → 需要相信并行计算可以替代时序依赖（与当时主流相反）
  • 引入 positional encoding → 一个工程化的、非自然的补丁
  • LayerNorm + 残差连接 → 借自 ResNet 的训练稳定技巧
  • 大量的工程经验调出来的 hyperparameter（head 数、维度、warmup）

每一条都需要在当时的领域知识下做反主流判断。事后讲解时这些抉择都被隐去，只剩下结果的简洁。

2.3 简洁是 reverse-engineered 的叙事

3Blue1Brown 的讲解本身就是把 Transformer 翻译成最易理解的几何/线性代数语言。原论文 “Attention is All You Need” 的写作风格更接近工程报告——大量消融实验、各种参数选择的论证。原始论文里 attention 不是 “显然如此”，而是 “我们试了很多东西，这个 work”。

3. 与 vault 既有节点的接合

这条对话短，但 Rick 的直觉指向一个普遍现象——事后看 idea 都简洁。在科学史里这叫 Whig 史观（用现在的胜者倒推历史），在认知心理学里叫 hindsight bias。它会让初学者低估技术演化的真实困难度，进而低估当前未被解决问题的难度。

[!note] 待校验观察 这种 “为什么没人早做” 的直觉，对 Rick 这种类型的学习者有特定价值——它是一个信号，说明已经听懂了；但需要立刻加一层校正——理解 ≠ 在当时可发现。把这个 meta-cognition 内化到 Claude 阅读非虚构 instruction 设计 那类阅读 instruction 里，可以避免学完每门技术都觉得 “好像也没什么”。

关联节点