具身智能数据类型：观测-动作四元组¶

无论框架（RT-2、Octo、OpenVLA、OpenPI、Diffusion Policy）还是数据标准（RLDS、LeRobot、HDF5），机器人学习的训练样本都由同一组时序信号组成。各框架在细节上有差异，但核心四元组是稳定的¹²：

一条训练样本 = (视觉观测, 本体感知, 动作, 语言指令)

视觉观测（Images）¶

RGB 图像是模型理解场景的主要输入。不同框架使用的摄像头数量和分辨率不同，但摄像头角色是统一的：

各框架摄像头配置¶

缺失的摄像头通常用零数组填充 + mask 标记为无效，模型跳过该输入。

深度图、点云、触觉图像等模态在部分框架中作为可选输入，但 RGB 是唯一普遍必需的视觉模态。

本体感知（Proprioceptive State）¶

机器人自身的低维状态向量，通常包含：

关节空间 vs 笛卡尔空间¶

这是最重要的表示选择之一：

ALOHA / ACT 系列使用关节空间；RT-2 / OpenVLA / BridgeData 使用笛卡尔空间的末端位姿增量。两种表示在数据层面都是一个 float32 向量，区别在于物理含义和数值分布。

并非所有框架都使用本体感知¶

动作（Actions）¶

模型的输出目标。训练时作为监督信号提供，推理时由模型预测。

动作表示¶

与 state 类似，动作也分关节空间和笛卡尔空间两种表示，且有绝对 / 增量之分：

Action Chunking¶

是否一次预测多步未来动作，是各框架差异最大的设计选择之一：

Action chunking 的核心权衡：chunk 越大，时间一致性越好（减少抖动），但延迟越高、对长程任务的适应性越差。实际部署中常配合 temporal ensembling（多次预测取加权平均）来平滑输出。

夹爪动作¶

夹爪通常作为动作向量的最后一维，有两种编码方式：

语言指令（Language Instruction）¶

自然语言任务描述，用于告诉模型"做什么"。

典型示例："pick up the red cup"、"put the banana on the plate"。Open X-Embodiment 中约 30% 的数据集有语言标注¹，缺失语言标注的数据在训练时用空字符串或默认 prompt 填充。

数据组织：Episode 与 Step¶

所有框架都将数据按 episode（一次完整操作轨迹）组织，每个 episode 包含 T 个 step（时间步）：

Episode
├─ Step 0:  {images, state, action, language_instruction, is_first=True}
├─ Step 1:  {images, state, action, language_instruction}
├─ ...
└─ Step T:  {images, state, action, language_instruction, is_last=True}

RLDS 格式显式定义了 is_first / is_last / is_terminal 标志位²。LeRobot v3 通过 episode 元数据中的起止索引隐式表达边界。

控制频率¶

频率影响 action chunk 的时间跨度：50 步 @50Hz = 1 秒，50 步 @5Hz = 10 秒，同一模型在不同频率下的 chunk 含义完全不同。

归一化¶

state 和 actions 的数值范围因机器人而异（关节角度 ±π rad，末端位置 0–1 m，夹爪 0–1），训练前需要归一化到统一尺度。详细的归一化方案对比、公式、各框架选择及 delta actions 陷阱 → 详见。

各框架的数据格式选择¶

底层存储格式各异，但语义结构（四元组 + episode 组织）是一致的：

格式之间可互转：RLDS ↔ LeRobot 有官方转换工具，HDF5 → RLDS / LeRobot 也有社区脚本。选择取决于训练框架生态，不影响数据语义。

参考资料¶