AI 数据管线¶

所有 ML 系统都需要数据管线（data pipeline）：把原始数据变成模型可消费的张量，再把模型输出变回有意义的结果。但"数据管线"远不止预处理——从原始数据的采集和整理，到训练时的高效供给，再到模型输出反哺下一轮训练，整条链路的每个环节都有独立的技术问题。

全景：端到端数据流¶

graph LR
    subgraph "上游：语料工程"
        A[原始数据源] --> B[采集 / 爬取]
        B --> C[清洗 / 去重 / 过滤]
        C --> D[质量评估与混合]
    end
    subgraph "中游：预处理与变换"
        D --> E[Schema 映射]
        E --> F[模态预处理]
        F --> G[归一化 / 增强]
        G --> H[Batch 化]
    end
    subgraph "下游：训练供给"
        H --> I[DataLoader / Streaming]
        I --> J[GPU 训练]
    end
    subgraph "反馈环"
        J --> K[模型输出]
        K --> L[评估 / 人类反馈]
        L --> A
    end

语料工程：从原始数据到训练语料¶

训练数据的质量直接决定模型能力上限。语料工程的核心挑战不是"获取数据"，而是从海量噪声中提炼高质量信号。

去重¶

重复数据导致模型在重复样本上过拟合、浪费算力，且劣化泛化能力¹。

实践中通常分层组合：先精确去重（\(O(n)\)），再 MinHash 过滤近似重复（\(O(n)\)），最后可选语义去重。

质量过滤¶

FineWeb² 的实践表明，过滤策略的选择比数据规模更重要——15T token 经过精细过滤后效果优于未过滤的数倍数据。

数据混合¶

预训练数据来自多个领域（网页、书籍、代码、论文、对话），混合比例直接影响模型在各领域的表现。

核心权衡：代表性 vs 质量——按自然分布混合会被低质量网页淹没，过度上采样高质量源则限制多样性。

合成数据¶

当真实标注数据稀缺或成本过高时，合成数据成为关键补充：

风险：迭代训练在自身生成的数据上会逐步丧失分布多样性（model collapse）³，需要持续混入真实数据。

预处理与变换：通用阶段模型¶

将原始数据变成模型输入张量，无论场景都经历以下逻辑阶段：

这些阶段在 CV（torchvision transforms）、NLP（HuggingFace tokenizers + data collator）、语音（torchaudio pipelines）中都有对应实现，只是具体操作不同。

训练时数据供给：存储到 GPU¶

训练供给的目标是让 GPU 永远不等数据。GPU FLOPS 增速远超存储带宽增速，数据供给正在成为训练瓶颈。

流式 vs 物化¶

存储格式选型¶

格式选型直接影响 I/O 吞吐和 GPU 利用率 → 详见结构化数据格式。

关键权衡：

• 顺序扫描（预训练）→ Parquet / WebDataset（压缩率优先）
• 随机访问（微调、强化学习）→ Lance / IndexedDataset（访问延迟优先）
• GPU 直接消费 → Arrow / Feather + GPUDirect Storage（零拷贝优先）

DataLoader 流水线¶

训练时数据加载需要多级流水线来隐藏 I/O 延迟 → 详见分布式训练数据流：

存储 → [prefetch 线程] → CPU 内存 → [预处理 worker] → [pinned memory] → GPU HBM

关键优化点：多 worker 并行预处理、异步 prefetch、pin_memory 加速 H2D 传输。分布式场景下还需要跨节点数据分片和 shuffle 策略，避免各 GPU 看到重复样本。

数据反馈环¶

传统管线是单向的（数据 → 模型），现代 AI 系统越来越依赖模型输出反哺数据的闭环。

RLHF / RLAIF 数据环¶

强化学习对齐引入了新的数据流模式 → 详见 LLM 训练流程：

模型生成候选 → 人类/AI 标注偏好 → 训练奖励模型 → 优化策略 → 生成更好的候选 → …

这个环路每轮产生新的训练数据（偏好对），且数据分布随模型能力变化——模型越强，需要越难的偏好对才能继续提升。数据管线需要支持在线生成 + 实时标注 + 即时训练的快速迭代。

合成数据自举¶

模型生成的数据反哺自身训练（self-improvement loop）：

• 数学/代码：模型生成解题过程 → 验证器检查正确性 → 正确样本加入训练集
• 指令跟随：强模型批量生成 SFT 数据 → 过滤后训练弱模型
• 风险：model collapse³——迭代训练在自身生成的数据上逐步丧失分布多样性

生产数据飞轮¶

部署后的模型持续生成可用于改进的信号：

用户请求 → 模型推理 → 用户反馈（隐式/显式）→ 标注 → 重新训练 → 更好的模型

核心技术问题：数据漂移检测（输入分布偏移时触发重训练）、隐私合规（用户数据脱敏）、主动学习（优先标注模型最不确定的样本，最大化标注效率）。

开环 vs 闭环：管线方向的根本差异¶

上述各环节在所有 AI 系统中都存在，但管线的方向性因系统类型而异——模型输出是给人看的还是直接驱动物理执行器的，决定了管线架构的复杂度。

开环（CV / NLP）：
  原始数据 → [前向管线] → 模型 → 输出给人看
                                    ↓
                              评估指标（accuracy, BLEU, ...）

闭环（具身 / 自动驾驶 / 工业控制）：
  传感器 → [前向管线] → 模型 → [逆向管线] → 执行器 → 物理世界
     ↑                                                  │
     └──────────── 传感器再次采集 ←──────────────────────┘

双向变换一致性——闭环管线的核心难题¶

开环系统的前向管线有 bug，最多导致精度下降。闭环系统如果前向和逆向管线不对称，模型输出的物理含义被篡改——例如训练时做了 normalize(action)，推理时忘了 denormalize，机器人收到的指令完全不是模型想表达的。

在管线包含有状态变换时极易出错：相对动作转换（\(a_t^{rel} = a_t^{abs} - s_t\)）需要记住当前状态 \(s_t\)，前向和逆向的状态管理必须精确匹配。

主要应对模式：

实时约束¶

闭环系统管线延迟直接影响控制频率，延迟超过控制周期意味着执行器在"盲飞"：

• 具身操控：30-100 Hz，单帧预算 10-33ms
• 自动驾驶：10-20 Hz 决策频率，感知管线 50-100ms
• 工业控制：PLC 扫描周期 1-10ms

具身智能管线因硬件碎片化最为复杂（数百种机器人 × 异构动作空间 × 碎片化通信协议）→ 详见具身智能数据管线。

场景对比¶

不同 AI 场景的数据管线面对的核心问题分布截然不同：

参考资料¶