预训练：为什么 Transformer 离不开它¶

CNN 和 RNN 从随机初始化训练就能达到不错的效果，但 Transformer 必须经过大规模预训练才能发挥威力。这不是巧合，而是架构设计的必然结果。

相关文档：Transformer 架构 | 从规则到表示学习

1. 核心矛盾：通用性 vs 数据饥渴¶

Transformer 的核心特点是几乎没有领域先验——它不预设"相邻像素更相关"（CNN 的卷积核）或"序列有时序依赖"（RNN 的循环结构）。这种通用性是一把双刃剑。

类比：CNN 像一个已经学过"看图基本功"的画家——构图、透视、配色的基础已经内化了，给他几百张范画就能画得不错。Transformer 像一个完全的白纸新手——天赋极高，但什么基础都没有，需要看上亿张画才能悟出门道。一旦悟了，反而画得比科班出身的更好，因为他没有被固定套路限制。

2. 关键实验证据¶

ViT：90M 图片的分水岭¶

ViT (Vision Transformer) 论文¹做了一个决定性的控制实验，在 JFT-300M 数据集的不同规模子集上训练 ViT 和 ResNet，不加额外正则化，直接比较模型的本征性质：

论文原话：

"Vision Transformers overfit more than ResNets with comparable computational cost on smaller datasets... This result reinforces the intuition that the convolutional inductive bias is useful for smaller datasets, but for larger ones, learning the relevant patterns directly from data is sufficient, even beneficial."¹

在完整数据集对比中，ViT 在仅 1.3M 图片的 ImageNet 上输给 CNN，在 14M 的 ImageNet-21k 上持平，在 300M 的 JFT-300M 上才全面超越。

历史注脚：2017 年 YouTube-8M 视频分类竞赛中，尽管 Attention Is All You Need 已发表，但没有 Transformer 方案获胜——冠军清一色是 CNN + LSTM/GRU 架构。直到 ViT 论文揭示了大规模预训练的阈值效应，Transformer 在视觉领域才站稳脚跟。

TrOCR：预训练模型初始化的决定性作用¶

TrOCR² 用纯 Transformer（ViT 编码器 + RoBERTa 解码器）替代传统的 CNN+RNN OCR 方案，消融实验表明预训练模型初始化、数据增强、两阶段预训练各自都带来显著提升。论文明确指出：

"The Transformer structures are competent to extract visual features well after pre-training."²

没有预训练的纯 Transformer 在 OCR 上无法与 CNN 方案竞争；接入预训练后直接超越 SOTA。

3. 为什么预训练能补上归纳偏置的缺失¶

预训练对 Transformer 的作用可以从三个层面理解：

graph LR
    subgraph 没有预训练
        R["随机初始化"] --> Bad["大量等价的\n局部最优解\n（多数泛化差）"]
    end

    subgraph 有预训练
        P["预训练权重"] --> Good["参数被锁定在\n'语言/视觉有意义'\n的区域"]
        Good --> FT["微调：在好的盆地内\n快速收敛到优解"]
    end

优化层面：引导到更好的损失盆地¶

Erhan et al.³ 通过大量实验证明：预训练是一种非典型正则化——不是通过加惩罚项，而是通过约束优化起点来限制可达的局部最优解。预训练将参数初始化到一个支持更好泛化的损失盆地（basin of attraction），效果在更深的网络和更少的标注数据时更显著。

这对 Transformer 尤其重要：没有归纳偏置的深层网络面临的局部最优解数量远多于 CNN，随机初始化几乎必然落入泛化差的区域。

统计层面：大词汇表天然提供"多样性"¶

Zhang et al.⁴ 解决了一个理论空白：已有多任务预训练理论要求任务数远大于嵌入维度（如 768），但 NLP 预训练通常只有一个任务（语言建模）。他们提出类别多样性（diversity of classes）——NLP 的语言建模任务有约 30K 个 BPE 类别，远大于嵌入维度，这种类别多样性等价于多任务预训练的效果，单任务预训练就足以学出高质量表示。

表示层面：交叉熵目标天然产出可迁移的特征¶

Saunshi et al.⁵ 从数学上证明：一个在交叉熵目标上 \(\epsilon\)-最优的语言模型，在下游分类任务上能达到 \(\mathcal{O}(\sqrt{\epsilon})\) 的误差。预测下一个词需要理解语法、语义、世界知识——这些理解被压缩进了表示向量，而这些向量对下游任务天然有用。

4. 与 CNN/RNN 的对比：为什么它们不那么依赖预训练¶

CNN 内置的卷积核本质上是一种"免费的预训练"——它提前告诉模型"关注局部特征、平移不变"。Transformer 没有这个免费午餐，必须用真正的预训练来从数据中学出等价甚至更好的先验。

参考资料¶