物理数据

物理数据

目的

采集某个数据集的物理机器，会在训练于该数据集的策略上永久留下什么印记？

一条机器人轨迹反映了产生它的物理机器。 关节几何、齿轮箱回差与接触摩擦共同塑造每一次运动，而传感器时序决定每条指令所伴随的观测。 关键在于，原始动作在提议与执行之间会发生变化——先映射为离散设定值，再经由提议边界下方的实时许可路径被放行、限制速率或钳制。 基于这些记录训练出的策略，不可避免地会连同名义任务一并习得这些采集条件。 成功的示范同样省略了机器一旦出错而偏离路径时所需的恢复行为，使策略无法应对自身失误所引发的失败状态。

每一次物理示范都在真实硬件上消耗有限的执行器寿命、机械磨损与运行时间。 由于相同指令在不同物理被控对象上会产生不同的动力学响应，因此在显式校准之前，具身数据集的迁移效果很差。 高容量模型无法仅凭数据量弥补系统性的记录缺口；自主策略需要暴露“标称性能”与“未建模扰动”之间边界的数据。 因此，一份物理数据集是关于某一特定装置跨越因果边界之交互的证据。 只有当它的来源信息涵盖了“请求了什么、被接纳了什么、身体实际执行了什么，以及哪些运行包络从未被探索”，才可以被信任。

学习目标

• 依据采集时间与重置开销估算可用的演示产出，并预算一次采集活动所消耗的机械磨损
• 分析采集策略如何限制数据集的覆盖范围以及下游的恢复行为
• 在带时间戳的干预记录中，将失败的自主动作与人工恢复轨迹区分开来
• 评估该数据集的机械与感知假设能否迁移到另一台机器
• 设计一份谱系记录，将每条观测与其请求的、映射的、经约束的和测量的动作，以及采集机器关联起来
• 通过将该数据集的占用情况与场景台账连接，评估该数据集是否支持所声称的运行域

内生经验

基于一次开门采集活动中保留的示范——即通过遥操作顺利打开仓库移动操作臂的弹簧锁扣舱门的示范——训练出的策略，仍可能在首次自主尝试时于锁扣处失败。 一个可能的原因是机器自身动作造成的偏移¹。在固定的离线视觉数据集中，模型的预测不会改变下一条存储的示例。 此处，一个已执行的动作会改变身体的轨迹、相机姿态与接触关系，进而改变后续观测（\(s_{t+1} \sim P(s \mid s_t, a_t)\)）。

Definition 1.1: 内生协变量偏移

内生协变量偏移 是闭环分布差异：具身智能体已执行的动作会改变其后续物理状态与感官观测（\(s_{t+1} \sim P(s \mid s_t, a_t)\)），使系统进入训练演示所不覆盖的状态空间区域。

1. 意义：解释了离线行为克隆为何会在闭环物理执行过程中失效：扰动可能将系统驱入策略缺乏训练支撑的状态。
2. 区别：与由环境光照变化或季节性天气引起的外生数据集偏移不同，内生偏移是由智能体自身的闭环动作主动产生的，从而改变了其后续观测分布。
3. 常见误区：试图通过采集更多名义专家演示来修复闭环策略失败，这只会沿成功流形增加数据密度，而无法提供脱离边界越界所需的纠正性恢复数据。

这一偏移是原则 Endogenous data 在数据收集侧的表现。 它使一份不含恢复轨迹的完美执行档案成为负担，因为策略的第一个错误就会把机器人带出已演示的状态范围。 令 \(\pi\) 为学习得到的策略，\(\pi^*\) 为专家，\(J\) 为 \(T\) 步内的期望累计任务成本，\(\epsilon\) 为在 0–1 动作损失下于专家访问过的状态上产生分歧的概率。 若每步任务成本位于 \([0,1]\) 内，则行为克隆给出最坏情况界（公式 1）：² \[J(\pi)-J(\pi^*) \leq T^2\epsilon. \tag{1}\]

采集物理经验同样昂贵。 每一条记录的秒数都会消耗执行器疲劳寿命、使电机绕组发热、使齿轮箱齿面循环磨损，并消耗电池电量³。操作员的休息、标定、场景重置，以及失败或被拒的尝试，使得排定单元时间中不到四分之一成为经验证的演示数据（节 1.4）。 因此，物理演示数据十分稀缺，若直接记录训练还会产生误导。

↰ 前置条件: 执行器热耗散（\(dT/dt\)）与绕组损伤极限在 热工作占空比 中导出。

一条物理指令在传向执行器的途中，其含义也会随之改变。 在提案边界所划分的机器中⁴，操作者或策略提出的请求被映射为一个设定值，经由许可路径被接纳或修改，并由被控对象以实测响应作答。 仅记录请求，策略便是在被被控对象永远无法执行的需求上训练；仅记录响应，则教会它结构挠度与齿轮回差，仿佛那是刻意的人为技能。

因此，数据采集活动在其记录任何内容之前，必须先作出两项决定：由哪个来源选择动作，以及每个动作的四种形式中，数据集保留哪一种作为其标签。

物理数据的来源

物理数据集并非被找到或抓取而来。 档案中的每一次状态转移，都要求在真实机器上克服摩擦移动质量。 从人类驾驶的相机图像中学习转向的难度，在 Dean Pomerleau 的 ALVINN（神经网络中的自动驾驶车辆）(Pomerleau 1989年) 中清晰可见，它从人类驾驶的相机图像中学习转向。 由于人类驾驶员很少出错，该数据集不含从车道边缘的恢复记录，且微小的执行误差在闭环中不断累积。

Pomerleau, Dean A. 1989年. 《ALVINN: An Autonomous Land Vehicle in a Neural Network》. Advances in Neural Information Processing Systems (NeurIPS) 1: 305～13.

物理数据来源依据“谁选择动作”而分为不同类别：

1. 在动觉示教中，共置演示者物理地抓取并移动机构未上电或重力补偿的关节。
2. 在遥操作中，远程操作员引导诸如主臂、多轴空间鼠标或受跟踪的手持控制器等输入设备，通过软件接口向从动机器人传输指令。⁵
3. 在脚本化采集中，工程师执行确定性控制例程，例如跟踪插值样条的状态机或基于力阈值的原语。
4. 在探索式采集中，一个主动策略选择动作以优化信息论目标、采样状态空间或最大化奖励信号。
5. 在部署期间的自主记录中，生产策略在执行工厂或仓库中的作业时驱动执行器，并就地存储传入的传感器数据流。

由于源决定机器如何接近世界，这些源即使在同一任务上，其状态-动作区域也是互不重叠的。 考虑释放笼门闩锁。 一位共置演示者引导机械臂，能感到闩锁卡滞，并在腕部进行修正。 一位观看视频的遥操作者没有这种手感，便以短促的移动和停顿反复戳击击板。 一个脚本式控制器沿一条编程路径以恒定速度接近，每次尝试都会对击板产生相同的力尖峰。 一个部分训练的策略在游荡，以斜向角度使闩锁卡滞，直到接触式触发线结束这次尝试。 这些日志并非同一条轨迹的噪声样本。 它们来自具有不同带宽、延迟和柔顺性的不同动力学系统。

⇄ 对照: 决定遥操作中“分步移动—等待反馈”运动节奏的显示与操作者响应延迟(节 1.4)，与每条指令均接受检查的\(1\text{ ms}\) 许可节拍(多速率节拍)形成对照。

将每条已记录的控制步当作一次独立经验，是一种常见错误。 以高控制率运行的记录器会产生巨大的步数，但相邻步几乎相同，因为相隔几十毫秒的两帧仅相差亚毫米位移和传感器噪声。 覆盖度随独立任务回合 的数量与不同的物理构型而增长，而非随采样时钟增长，因此，一份跨越数百个工件位置与光照条件的适度规模存档，所能支持的量级远超于一处实验台上记录时长十倍的数据。

仿真避免了磨损账单，相关内容见 策略训练。 当合成轨迹与物理日志混合时，每条记录都必须标明其来源。 一个在不分来源的混合数据上训练出的模型，会在合成数据占主导时继承物理引擎的接触误差，在物理数据占主导时继承硬件的背隙与噪声，而事后无人能分辨究竟是哪一个导致了机器人上的失败。 一条标明自身来源的记录，已经解决了本次实验的两次决策中的第一次，它仍然需要说明对每种动作保留了哪一种形式。

哪个动作会成为标签

当夹爪与笼门锁扣上的击板相遇时，操作者的手部动作已经转化为四种不同的信号，而数据集保留为标签的那一种，决定了学习模型复现的是哪一种。 该机器将控制路径拆分为两个处理器（图 1），因此标签可以在两个计算域中分别采集：

• 非特权侧的应用处理器负责采集摄像头数据流、运行遥操作输入映射或策略的前向传播，并完成坐标映射。
• 在许可侧的提案边界（《五层机器》）上，安全微控制器（MCU）以裸金属方式运行于（\(1\text{ kHz}\)），执行阻抗控制、安全屏障函数、速度钳制和电流限制。⁶

图 1: 四路动作采集元组：命令共有四个可记录位置，从应用处理器上的原始策略意图一直贯穿到实测的被控对象响应。 数据集所记录的哪一类信号采集点，决定了模型学会模仿什么。 来源：架构设计改编自 Zhao 等 (2023年) 与 Wu 等 (2024年)。

这条控制路径上的四个信号采集点 捕捉到根本不同的物理语义：

• 请求动作（requested action，\(a_{\text{req}}\)）：原始操作者输入或策略提案，标注其表示、单位、坐标系与发出时刻。
• 映射后的指令（mapped command，\(a_{\text{cmd}}\)）：重新定向后的笛卡尔或关节设定值，标注新的表示、单位、坐标系与映射时刻。
• 经安全裁决的指令（enforced command，\(a_{\text{enf}}\)）：在独立安全路径对提案作出放行、修改或拒绝之后，同一类设定值。
• 被测量的响应（measured response，\(a_{\text{meas}}\)）：在给定采样间隔内对应的测量位置或速度；编码器读数与电机电流属于不同的传感器通道，不可互换为动作坐标。

只有跨越应用处理器与 MCU 边界的完整元组，才能区分操作者要求的内容与许可路径允许的内容。

Definition 1.2: 四路动作遥测

四路动作遥测 \((a_{\text{req}}, a_{\text{cmd}}, a_{\text{enf}}, a_{\text{meas}})\) 是时间同步的多层遥测记录，它捕获一个动作信号在其四个因果变换阶段上的表现：非特权操作员或策略意图（\(a_{\text{req}}\)）、运动学重新定向的设定值（\(a_{\text{cmd}}\)）、安全治理后的指令（\(a_{\text{enf}}\)），以及被控物理系统的响应（\(a_{\text{meas}}\)）。

1. 意义：在原始请求动作（\(a_{\text{req}}\)）上训练模仿学习策略，会注入动态上不可行的指令，从而在部署时触发安全停机。 相反，在测量到的响应（\(a_{\text{meas}}\)）上训练，会使模型模仿机械顺应性、间隙以及外部扰动，而不是有意控制。 记录全部四条数据流，可将控制意图与权限路径干预区分开来。
2. 区别：与仅捕获最终电机编码器状态或原始遥操作摇杆输入的机器人遥测日志不同，四路遥测保留了中间软件和安全硬件施加的确切因果过滤阶段。
3. 常见陷阱：记录数据流时，未通过 IEEE 1588 精确时间协议（PTP）在硬件层面同步时间戳，时间戳记作 \(t_{\text{PTP}}\)。 应用处理器与 MCU 之间哪怕只有几毫秒的时钟偏差，也会破坏视觉观测与对应力矩动作之间的时序对齐。

记录正确信号采集点的数据，并不意味着每个被记录的值在何时为真。 相机在读出与传输前会积分数十毫秒曝光窗内的光子，力传感器以约一百赫兹采样，关节编码器与电流环以 MCU 的千赫兹节拍运行，动作循环以数十赫兹派发。 一个锁存最新可用样本的数据加载器，会把每个动作与曝光中心时刻比该帧到达主机内存早 \(25\text{--}40\text{ ms}\)的相机帧配对，策略据此学习将过去状态映射为当前动作，相位滞后被烘焙进其权重。 日志引擎通过三个步骤避免这一问题：

1. 曝光中点时间戳： 每一帧都打在其曝光中点时间戳（测量新鲜度）上，通过 PTP 同步的硬件触发或在外部 TTL 同步线上触发锁存，因此每台相机的观测都带有其真实时刻的时间。
2. 运动学插值： 相机光学时间戳处的关节构型，是在两个最近的 MCU 编码器记录之间进行插值（样条形式见 Smooth Trajectories and Bumpless Transfer）。
3. 对齐先于序列化： MCAP、LeRobot (Cadene 等 2024年) 和 RLDS (Open X-Embodiment Collaboration 等 2024年) 之类的容器会按其给定的时间戳原样存储多速率流，因此必须在写入状态-动作对之前完成中点对齐。

Cadene, Rémi, Simon Alibert, Alexander Toshev, Thomas Sen, Quentin Gallouédec, Adil Zouitine, 等. 2024年. 《LeRobot: State-of-the-art machine learning for real-world robotics in PyTorch》. arXiv preprint arXiv:2410.09312.

↰ 前置条件： 分布式总线控制器之间的亚微秒 PTP 时钟同步已在 按时移动指令 中确立。

一个数据采集点和一个时间戳，其质量完全取决于产生它们的回路。 在遥操作（teleoperation）中，经由人来采集高质量物理轨迹仍然是标准做法，而人机之间的接口在数据进入模型之前，早已塑造了所记录的动力学。

遥操作演示成本

遥操作通过操作者、输入设备、总线、电机控制器和环境之间形成一条反馈回路（图 2）。 一台相机捕捉工作区并将其流式传输到显示器；操作者看到场景、决定进行何种修正，并移动输入设备；工作站将该运动映射为设定值并发送给电机驱动器；执行器克服惯性、摩擦与接触阻力驱动机械臂加速，而场景在下一个周期回到相机。

图 2: 运动学同构的遥操作装置：在三套主从装置上进行的演示录制，其中主设备镜像从设备的运动学 (Wu 等 2024年)。 由于主设备与从设备共享关节结构，接口无需求解逆运动学，也不继承其任何奇异点（关节共线导致失去运动能力的数学死区），从而保留操作者直接的关节级协调。 操作者连续修正的延迟仍以相位滞后形式进入录制，因此演示如同将操作者的延迟当作策略。

Wu, Philipp, Yiyang Shentu, Zhonghe Yi, Xingyu Lin, Ken Goldberg, 和 Pieter Abbeel. 2024年. 《GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulation》. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).

该回路中的每个环节都会引入延迟，影响校正的时序。 在高帧率相机与有线局域网的参考配置下（示意；参见阅读指南），显示处理需要 \(t_{\text{disp}} = 50\text{ ms}\) 的延迟，涵盖曝光、H.264 解码与显示器刷新。 人的视觉感知与神经肌肉传导会引入 \(t_{\text{hum}} = 200\text{ ms}\) 的操作员响应延迟，用于连续路径修正。 指令量化、分组打包以及总线传输至机器人控制器，额外增加 \(t_{\text{cmd}} = 10\text{ ms}\)。 执行器扭矩爬升与结构惯性共同造成 \(t_{\text{mech}} = 80\text{ ms}\) 的机械响应延迟，直到机器人达到指令加速度。 遥操作往返延迟 \(t_{\text{loop}}\)，即从接触事件到纠正性执行器响应的时间，其总和为： \[t_{\text{loop}} = t_{\text{disp}} + t_{\text{hum}} + t_{\text{cmd}} + t_{\text{mech}} = 50\text{ ms} + 200\text{ ms} + 10\text{ ms} + 80\text{ ms} = 340\text{ ms}.\]

当接触错位发生在时刻 \(t\) 时，操作员在 \(t + 50\text{ ms}\) 看到它，在 \(t + 250\text{ ms}\) 发出修正指令，而机械臂在动量与接触力的作用下继续运动，直到 \(t + 340\text{ ms}\) 才推回。 记录器将观测 \(s_t\) 与同一时刻发出的指令配对，即把一个状态与为更早的状态 \(250\text{ ms}\) 所选的动作配对。 策略将这种延迟视为有意行为；当它在控制速率下自主运行时，会过度校正或振荡。 因此，往返延迟是数据集的属性，而不仅取决于实验装置，因为它以操作者自身反应时间为主的相位滞后形式进入每一次演示。

当接触力在 双边遥操作 中反射回操作者的手时，同样的延迟便成为稳定性隐患。 Anderson 与 Spong 表明，传输延迟会使被动链路转变为能量源 (Anderson 和 Spong 1989年)。 延迟的反作用力与操作者的手不同相，推动其沿运动方向移动，并使主从端在刚性接触下（Passivity and Energy-Bounded Interaction）进入极限环。 时域被动性控制器与波变量变换通过虚拟阻尼将这部分能量泄掉，而阻尼会对操作者的运动进行低通滤波，削弱演示本应捕捉的接触线索。

Anderson, Robert J., 和 Mark W. Spong. 1989年. 《Bilateral control of teleoperators with time delay》. IEEE Transactions on Automatic Control 34 (5): 494～501. https://doi.org/10.1109/9.24201.

因此，该接口过滤掉了演示所能表达的内容。 力反馈式主从系统让操作者感受到约束；仅视觉的速率控制器则促使操作者做出短促移动与停顿，同时查看视频。 像 ALOHA 这样的可反向驱动的关节空间主端，以 \(50\text{ Hz}\) 的频率记录 (Zhao 等 2023年)，介于两者之间，传达领导者的机械手感，而不引入跟随者力。 无论采用哪种接口，操作者在接近接触时都会减速，因为围绕 \(t_{\text{loop}}\) 闭合的高增益回路会失去相位裕度。表 1 将这些行为列为针对某一具体实验装置需要检查的现象，而非通用范围。

表 1: 面向实体演示采集的遥操作界面机制：映射与反馈决定了操作者能够演示什么，最后一列则指明在给定装置、任务和操作者下需要检查的采集伪影。

接口与反馈	指令映射	操作员可获取的接触信息	需核查的可能采集伪影
力反射双边主从器	主端运动映射到从端关节；测量的从端力反射到主端	视觉与物理接触力，受链路延迟与保真度约束	接触修正与振荡：当延迟力反射失去被动性时
反向驱动的关节空间主端（ALOHA） (Zhao 等 2023年)	领导者关节位置被复制到跟随者；演示记录于 \(50\text{ Hz}\)	视觉与领导者机制手感，无主动跟随者力反射	关节空间姿态偏好与未观测的跟随者接触力
速率控制的三维鼠标	设备偏转映射为笛卡尔速度，随后进行逆运动学	除非存在独立的触觉通道，否则主要采用视觉反馈	在延迟反馈下的步进-等待运动与零速度停顿
跟踪空间控制器	跟踪手部位姿映射为工具位姿，并采用控制映射的离合与缩放	视觉反馈；可选振动不属于方向力反射	控制映射离合造成的不连续性与位姿跟踪缺口
带仪表的外骨骼	可穿戴关节运动重定向到机器人关节	取决于是否配备了主动力反馈	生物力学标定与重定向偏差

无论操作者使用何种界面，该装置都必须记录本次会话产生的全部数据流，包括 1.2 的全部四个动作数据采集点，而该记录本身也拥有独立的带宽与存储预算。

Napkin Math 1.1: 多相机摄取与存储预算

问题：仓储移动操作臂上单次遥操作开门会话，在每台相机和每个轴均原始记录时，会产生怎样的持续摄取速率与存储量？

参数（相机几何来自数据表；记录格式为所选）：

• 导航相机：以 4056 乘 3040 像素、60 Hz 帧率，以 24 位 RGB（\(3\text{ bytes/px}\)）记录。
• 手腕相机：以 1440 乘 1080 像素、60 Hz 帧率，以同样的方式记录。
• 外部相机: 2 台 RGB-D 相机，用于观察门，颜色分辨率为 1920 乘 1080 像素、30 Hz，深度与颜色帧对齐，以原始 uint16 毫米记录（\(2\text{ bytes/px}\)）。
• 运动学：在 1 kHz 记录的 9 轴（两个基础车轮、七个机械臂关节）。 每一步为每个轴存储位置与速度（即测量响应 \(a_{\text{meas}}\)）、测量力矩，以及请求命令、映射命令与经约束强制实施的命令，均为 32 位值，外加一个 64 位时间戳，每步共 224 字节。

计算：

1. 原始视频带宽：导航相机流式传输 2219.44 MB/s，腕部相机为 279.94 MB/s。 外部成对共增加 373.25 MB/s 颜色与 248.83 MB/s 深度，总计 622.08 MB/s。
2. 运动学带宽：在 1 kHz 的 224 字节/步为 0.22 MB/s。
3. 持续总摄取速率： 各流之和为 3121.68 MB/s，约 3.12 GB/s。
4. 小时与班次存储消耗： 未压缩遥测以每小时 11.24 TB 的速度累积，或在一台机器上 8 小时采集班次内累积 89.9 TB。

系统洞见： 仅导航相机写入量就达到 SATA SSD 持续速率的 4.0×（550 MB/s）。 完整会话的数据写入速率未超过 Gen4 NVMe 驱动器的 7 GB/s 带宽上限，但仅以每小时 11.24 TB 的存储消耗为代价。 以示意性的帧内视频压缩率 8× 将速率降至约 390.2 MB/s（每小时 1.40 TB），代价是编码器延迟以及策略将用于训练的帧中的伪影。 运动学流承载全部四个动作记录采样点，占字节数的 0.007%。 保存因果链的记录是日志成本最低的流，因此，在缓冲区压力下丢弃数据的记录器绝不可先丢弃它。

存储上限决定一次会话能够记录多少内容；产出上限决定其中有多少值得用于训练。演示产出量（\(Y_{\text{usable}} = \lfloor T_{\text{motion}} / t_{\text{cyc}} \rfloor \cdot R\)）指一次排定会话在启动、校准、操作员休息、重置和质量过滤各自占用其份额之后，所产生的保留轨迹记录数。 考虑一次锁扣实验的示例会话，其声明时长为 \(T_{\text{sched}} = 60.0\text{ min}\)。 启动、校准与操作员休息留下一个时长为 \(T_{\text{motion}} = 35.0\text{ min}\) 的活动窗口。 每次尝试是一次遥操作开门 \(t_{\text{att}} = 25.0\text{ s}\)，随后由门体夹具 \(t_{\text{rst}} = 15.0\text{ s}\)（\(t_{\text{cyc}} = 40.0\text{ s}\)）重新锁扣门，因此该会话可容纳 52 次尝试。 试验内失败（20%）与采集后过滤（15%）给出保留率 \(R = (1 - 0.20)(1 - 0.15) =\) 0.68，该会话产出 35.36 条保留轨迹，经验证数据的时长为 14.73 min。 即净会话占比，为验证轨迹时长占排定单元时长之 24.6%。 目标 5,000 所保留的演示，因此需要 7,353 次尝试和 141.4 h 的调度单元时间，相当于该轮采集所保留演示时长的 4.07×（见 表 2）。 轮次的预算以验证过的轨迹时间计，而非设施运行小时数。

磨损按每个循环累积，而非按小时累积。 在手臂腕部的示意磨损模型中，谐波减速器额定承受 \(L_{\text{gear}} = 5{,}000{,}000\) 次应力循环，内部线缆束额定承受 \(L_{\text{cable}} = 200{,}000\) 次弯曲循环。 找到把手、释放闩锁并转动门，每次开启约增加 \(n_{\text{gear}} = 14\) 次扭矩反转和 \(n_{\text{cable}} = 6\) 次弯曲循环；重新闩锁期间的回位行程再增加两次弯曲循环。 失败尝试与保留尝试对关节的磨损同样多，因此账单由全部 7,353 次尝试支付：102,942 次齿轮应力循环，占额定寿命的 2.1%，以及 58,824 次线缆弯曲，占额定寿命的 29.4%，对应一次轮次。 是电缆，而非齿轮，决定了更换周期。 同一台机器上运行三套活动会消耗掉电缆额定寿命的大部分，而间歇性导体断裂会破坏正在记录的传感数据流。

表 2: 计划时长为60分钟的一次会话中的物理演示采集预算: 设施时钟时间、产出损失和分阶段部件磨损，用于一次锁具实验的演示采集预算（\(N_{\text{att}} = 52\) 次尝试，每次 \(t_{\text{att}} = 25.0\text{ s}\)，复位 \(t_{\text{rst}} = 15.0\text{ s}\)）。 最后一次完整循环结束后的20 s 活跃时间处于空闲状态，且没有对应行。 不到四分之一的小时以留存演示数据的形式保留。

会话阶段 / 活动	分配时长 (\(\Delta t\))	墙钟占用率 (%)	物理运行与控制状态	硬件应力与磨损机制	净轨迹产出（\(N_{\text{episodes}}\) / \(T_{\text{yield}}\)）
单元启动与总线同步	\(8.0\text{ min}\) (\(480\text{ s}\))	\(13.3\%\)	总线同步（EtherCAT/CANopen）、安全看门狗验证、光学归位	上电电气浪涌；电机绕组与传感器电桥的升温	\(N = 0\text{ ep}\)、\(0.0\text{ min}\) 的轨迹时长产出
传感器标定与零位消除	\(7.0\text{ min}\) (\(420\text{ s}\))	\(11.7\%\)	相机内参/外参扫描，关节力矩偏置零位消除，编码器回零	静态保持力矩；传感器电桥热稳定；零动态齿轮磨损	\(N = 0\text{ ep}\), \(0.0\text{ min}\) 的轨迹时长产出
操作员休息与人体工学	\(10.0\text{ min}\) (\(600\text{ s}\))	\(16.7\%\)	强制操作员休息以缓解视觉疲劳、认知饱和与震颤漂移	被动待机；电磁制动已投入或零速保持电流	\(N = 0\text{ ep}\) 与 \(0.0\text{ min}\) 输出
物理场景重置	\(13.0\text{ min}\) (\(780\text{ s}\))	\(21.7\%\)	门由其夹具关闭并重新锁扣，臂回抽行程（\(15.0\text{ s/次尝试}\)）	\(52\text{ 次回位行程} \times 2\text{ 次弯曲} = 104\text{ 次线缆弯曲循环}\)；零接触载荷	\(N = 0\text{ ep}\)、\(0.0\text{ min}\) 输出
主动遥操作尝试	\(21.67\text{ min}\) (\(1300\text{ s}\))	\(36.1\%\)	实时人工遥操作引导手柄接近、闩锁释放与门扇摆动（\(25.0\text{ s/次尝试}\)）	谐波减速器承受 \(52 \times 14 = 728\text{ 次力矩反转}\)；\(52 \times 6 = 312\text{ 次线缆弯曲循环}\)；接触载荷低于15 N	\(N = 52\text{ 次原始尝试}\)、\(21.67\text{ min}\)整体运动
试验内失败（已标注）	\(-4.33\text{ min}\) (\(-260\text{ s}\))	\(-7.2\%\)	手柄打滑、闩锁卡滞、接触力超过保护触发阈值 15 N（\(20\%\)丢失）	高力接触瞬态；抓取器硅胶垫上的磨粒磨损	来自成功产出的 \(-10.4\text{ ep}\)；保留有效日志
采集后 QA 过滤	\(-2.60\text{ min}\) (\(-156\text{ s}\))	\(-4.3\%\)	离线过滤：链路延迟\(>100\text{ ms}\)、视觉遮挡、操作者犹豫（\(15\%\) 损失）	零硬件磨损（一轮离线计算验证）	\(-6.24\text{ ep}\) 丢弃
经验证的数据集净产出量	\(14.73\text{ min}\) (\(884\text{ s}\))	\(24.6\%\)	进入训练缓冲的高质量同步多模态轨迹(\(s_t, a_t\))	每轮规模为 \(5000\text{ 条轨迹}\) 的采集消耗腕部齿轮寿命的 \(2.1\%\) 与内部柔性线缆寿命的 \(29.4\%\)	\(N_{\text{usable}} = 35.36\) 条轨迹

示教演示受限于操作者通过显示所能感知的内容、通过接口所能协调的内容，以及针对回路延迟的稳定性，因此该数据集反映的是人机接口复合体，而非对被控对象动力学的无约束采样，这一偏差决定了数据集的覆盖范围（节 1.5）。

采集策略覆盖度

物理数据集通过在硬件上执行动作并记录由此产生的状态转移来生成。 所记录的样本定义了一个 经验状态-动作占据分布 (Spencer 等 2021年) \(d^{\pi_{\text{col}}}(s, a)\)，模仿学习以该分布为权重来最小化预测误差，因此学到的策略 \(\pi_\theta\) 仅在 \(d^{\pi_{\text{col}}}(s) > 0\) 成立的状态上得到训练。 该数据集并非物理状态空间的样本。 这是采集策略 \(\pi_{\text{col}}\) 在其控制偏差、接口延迟和风险容忍度下所描绘出的区域。

考虑一个示例性接触任务：夹爪与工件边缘对齐，其部署要求接触角覆盖以下范围： \(\theta \in [-15.0^\circ, +15.0^\circ]\)、法向力不超过 \(20.0\text{ N}\)。 以 \(1.0^\circ\) 和 \(1.0\text{ N}\) 分箱，即一个由 600 个单元组成的网格。 两个采集器各自记录 \(1{,}000{,}000\) 次转换，且使用相同的传感器。 谨慎式遥操作将接触保持在垂直方向 \(\pm 2.0^\circ\) 以内，在 \(4.0\) 到 \(6.0\text{ N}\) 之间填充 8 个单元，使网格的 98.7% 保持为空。 探索式策略横跨整个角度范围接近，发生打滑，并在 \(1.0\) 与 \(18.0\text{ N}\) 之间加载接触，填充 510 个单元，使 15.0% 保持为空。 字节数完全相同；两个数据集能够回答的问题却并不相同。

动作标签之所以存在，只是因为采集策略访问过该状态并下达了指令。 在访问次数为零的状态上，数据集既没有给出首选动作，也没有提供“根本不存在”的证据；损失函数因而无法区分不稳定的配置、安全但未被访问的配置，以及会造成损害的配置。 策略可能在那里泛化、失败，或被另一套独立的安全机制拦下；仅凭数据集无法判断是哪一种情况，只有针对性采集、专家重新标注，或拒绝授予自主权限，才能确定该单元格。 假设一个在谨慎数据上训练的策略受到摩擦变化扰动至 \(\theta = +4.5^\circ\)，该状态位于其 8 个已演示单元格之外。 此时，该网络正在评估一个没有任何演示约束的输入，未经验证的动作将其带至 \(+6.0^\circ\) 处的 \(11.0\text{ N}\)，即一个控制步之后的状态，而存档中并不存在针对该状态的修正。 每一次进一步的动作都会使它离通道更远，直到夹爪卡死在夹具上。 这就是内生的协变量偏移（1.1）作用于一个覆盖缺口。

以所采集值的极端值衡量覆盖率属于循环论证。 采集器若仅记录 \(4.0\) 与 \(6.0\text{ N}\) 之间的力，则报告该区间具有完整覆盖。 覆盖率必须改以外部 场景台账 来评估，该台账是部署所要求的条件表，划分为单元格。 场景台账是写下来的 运行设计域（ODD）：机器被设计用于在其中运行的物体姿态、表面条件、载荷、速度与扰动。 数据集支撑其占用连接所覆盖的 ODD 部分；其余部分则是其已知的缺失。

不支持的区域由支撑包络关系连接 找到，该连接将经验占用 \(d^{\pi_{\text{col}}}(s,a)\)（机器实际去的地方）与场景台账 \(\mathcal{S}_{\text{req}}\)（机器需要去的地方）相互交叉引用。 对每个台账单元格，连接报告转换计数 \(N_{\text{cell}}\)，从而将 ODD 划分为受支撑的工况（\(N_{\text{cell}} \ge N_{\text{min}}\)）、高方差转换区，以及零支撑盲区（\(N_{\text{cell}} = 0\)）。 盲点没有训练监督，因此许可路径必须判断策略是否可以在那里运行；计数较低的单元格需要不确定性检查和针对具体场景的检查。

验证损失无法识别这一缺口。 从同一批轨迹中划分出的留出集共享占用情况 \(d^{\pi_{\text{col}}}\)，因此谨慎数据集的验证损失可以接近零，而 ODD 所要求的 98.7% 的单元格中没有任何示例（表 3、图 3）。 仅部署前计算的支持账本单元格数与所需单元格数之比，才能度量覆盖率。

表 3: 经验覆盖与验证损失指标，按运行场景分箱：比较谨慎遥操作与探索策略覆盖的关联连接指标。

指标	谨慎遥操作（\(d^{\pi_{\text{teleop}}}\)）	探索性策略 (\(d^{\pi_{\text{expl}}}\))	系统后果
记录的状态转移	\(1{,}000{,}000\) 次转移 (\(100\text{ Hz}\))	\(1{,}000{,}000\) 次转移 (\(100\text{ Hz}\))	等效数据集规模
运行网格覆盖	\(8\,/\,600\) 个分箱（\(1.3\%\)）	\(510\,/\,600\) 个分箱（\(85.0\%\)）	ODD 的受支持单元
零计数盲区（\(N_{\text{cell}} = 0\)）	\(592\,/\,600\) 个分箱（\(98.7\%\)）	\(90\,/\,600\) 个分箱（\(15.0\%\)）	未受监控的风险量
留出验证损失（\(L_{\text{val}}\)）	\(0.001\text{ rad}\)	\(0.012\text{ rad}\)	验证损失不具备诊断性
闭环累积漂移	超出 \(\pm 2.5^\circ\) 的发散	跨 \(\pm 15^\circ\) 的有界恢复	物理策略稳定性
训练准入	拒绝（要求定向采集）	准入（盲区保持登记）	场景账本审计门

图 3: 采集器占用与场景连接：比较谨慎遥操作者与探索策略的状态-动作访问情况，并将两者的访问情况与部署所要求的情景台账进行关系连接。 谨慎采集器将转移集中到狭窄簇中，并使 98.7 %的必需单元未被访问，同时报告接近零的验证损失，表明统计收敛并不能说明物理覆盖。 关联连接将 ODD 划分为受支持的运行域、高方差转移区，以及零支持盲区，在这些盲区中必须拒绝自主控制权限。

锁存行动展示了运行中的机器上的连接。 每个保留的回合都以受保护的接近速度 0.03 m/s 接近挡板，挡板处于标称值的 $$0.5 mm 范围内，且每个保留的成功都低于 15 N 触发线。 对照仅含标称挡板位置与受保护的接近速度这一工况组合的账本，该数据集看起来是完整的。 对照门所需的账本，三个挡板位置（标称和 $$3 mm）与两个接近速度（0.03 m/s 和 0.10 m/s）交叉，同样的数据填满 six 的一个单元格，而每个偏移挡板以及每个以 0.10 m/s 接近的情况都为零个演示。 数据集内部没有任何东西在两个答案之间不同；只有外部账本不同。 因此，five 的空单元格随数据集进入 策略训练，作为其已知缺失项；在定向采集填满它们之前，机器必须对这些条件作出拒绝，而不是猜测。

Checkpoint 1.1: 经验占用与场景台账连接

在评估策略对运行设计域的覆盖之前，先核实你对数据集占用与场景台账记账的理解：

• 经验支持 vs. 验证损失: 你能解释为什么模仿策略在留出测试数据上可以达到接近零的验证损失，同时却使 ODD 的 98% 所需单元缺乏支持吗？
• 未访问状态: 一个未被访问的场景单元能关于策略行为说明什么，还需要哪些额外证据或拒绝决策？
• 场景台账关系连接: 当把遥测数据与运行场景台账连接时，你能区分受支持的标称工况、高方差过渡区，以及零支持的盲区吗？

沿走廊记录更多标称演示并不能填补盲区。 到达边界状态需要监督接管或刻意扰动，而它们产生的数据自身又引发因果问题（节 1.6）。

干预与恢复数据

当危险状态或边界状态未出现在训练数据集中时，工程师不能据此断定物理系统会自然地避开该状态。 经验日志中的缺失状态对应数据采集过程中的四种不同物理机制之一：

1. 未访问的标称轨迹：采集策略从未访问过该状态，因为标称策略执行轨迹始终完全处于主任务通道内。 这种缺失代表未受监控的标称运行，可通过将轨迹日志与场景台账交叉核对加以检出。
2. 权限路径拦截：主动安全屏障或权限路径中的确定性反射检测到即将发生的边界违规，并在状态被达到之前截断了运动，正如 15 N 接触触发器对闩锁尝试所做的那样。 这一缺失可在权限路径的日志中直接检出，日志记录了屏障触发。
3. 人工监督接管：一名人类安全操作员察觉到正在发展的危险，在接触发生之前脱开了自主策略。 这一缺失可通过车辆或机械臂总线上的接管脱开标志检出。
4. 采集后删减：机器实际进入了危险状态并与障碍物发生碰撞，或使关节卡死，但一段自动后处理脚本将该回合 作为损坏或不完整的数据丢弃。 这一缺失无法通过数据集检查检出，因为失败转换在写入训练数组到磁盘之前已被清除。

每种机制在情景单元中都会产生完全相同的零计数，但将它们同等对待会导致关于策略稳定性的错误结论。

人工接管和自动脱钩会在车队数据中引入选择偏差陷阱。 干预恰好在自主策略进入其处理不佳的状态空间区域时发生，导致跟踪误差或模型不确定性超过运行阈值。 由于脱钩由失败的策略执行轨迹触发，所收集的干预数据并非取自任务的名义状态分布。 在这样一次接管之后记录的轨迹，捕捉的是专家从边缘情况扰动中恢复的过程。 这些救援过程中所访问状态分布，记为 \(d^{\text{takeover}}\)，是条件于策略失败而非标准任务执行。 将干预日志视为来自标称分布 \(d^{\pi^*}\) 的样本，会使训练分布偏向那些仅因先前策略失败而存在的状态。

将获救的轨迹直接追加到行为克隆数据集中，可能使不安全的策略指令看起来像专家演示。 接管之前，学习得到的策略可能发出增大航向误差或接触力的指令；接管之后，专家才从学习者曾访问过的状态发出纠正指令。 这些漂移状态在专家能够为其标注安全动作时，对纠正性聚合具有价值。

分离这些标签需要定位自主策略偏离标称路径的 发散点（此处扩展了 多速率桥 的论述），而不是把接管当作首次错误。 一次脱离闭环的监督式接管 人类对执行机构的权威（其延迟受到预算约束）比遥操作闭环的持续纠正 节 1.4 耗时更长；在一个示意性的 \(100\text{ Hz}\) 下，该延迟跨越许多控制周期，且全部记录在学习者的授权之下。

在离线摄取管线中检测 \(t_{\text{div}}\) 需要自实际接管时间戳向前回溯时间，以搜索同步的触发前遥测缓冲区： \[\begin{aligned} \hat{t}_{\text{div}} = \min \Bigl\{ t \in [t_{\text{takeover}} - \Delta t_{\text{lookback}}, t_{\text{takeover}}] \;\Big|\; &\|\mathbf{x}_{\text{plant}}(t) - \mathbf{x}_{\text{ref}}(t)\|_2 > \delta_{\text{tol}} \\ &\lor\; \text{Tr}(\boldsymbol{\Sigma}_{\pi}(t)) > \sigma_{\text{thresh}}^2 \Bigr\}. \end{aligned}\] 该管线扫描一个给定的回溯窗口（此处为 \(\Delta t_{\text{lookback}}=1.0\text{--}2.0\text{ s}\)），寻找首次阈值穿越，使用校准后的跟踪残差，并在可得时采用策略不确定性。 阈值针对具体场景设定。

干预筛选 在分歧与接管时间戳处，将学习者的指令、针对学习者访问状态由专家给出的标签，以及接管后的恢复分别分开。 它在审计日志中保留分歧与接管之间的学习者指令及其真实权限与安全标记，但从不将其作为专家模仿目标；仅当有合格专家能够对该状态标注安全动作时，才将其到达的状态纳入纠正性聚合；并将接管后的恢复记录为独立的专家序列。 揭示策略覆盖度缺口的状态永不被删除。

在发散与接管之间的状态，正是原则 Endogenous data 具体化的地方。 这些状态由学习者自身的动作选择，没有演示访问过它们，也是行为克隆策略在其首次出错后所到达的状态，因此它们的缺失代价高昂。 仅在专家状态上进行克隆，只能得到 公式 1、\(O(T^2\epsilon)\) 的二次最坏情况界。

在 校正聚合 中，例如 DAgger (Ross 等 2011年)，专家对学习者访问过的状态进行标注，包括符合条件的接管前漂移状态。 学习得到的策略可以在学习者访问过的状态上取得与任务时域长度成正比、与其在该状态上的损失成正比的成本界，\(O(T\epsilon)\).⁷

对于 \(T=500\) 步（在 \(100\text{ Hz}\) 下对应 \(5.0\text{ s}\)）以及 \(\epsilon=0.01\)，表达式 \(T^2\epsilon=2500\) 与 \(T\epsilon=5\) 展示了不同的时域依赖。 由于两项均省略常数项且基于不同的误差假设，它们的比值并非一项 \(500\times\) 的改进。 在每步成本至多为 1 的情况下，本例（图 4）中的累计任务成本本身不可能超过 500。

图 4: 协变量偏移与干预筛选：左图对比的是条件行为克隆与 DAgger 的成本上界阶次，而非实测轨迹漂移。 右图展示了发散与接管之间的学习者访问状态。 保留这些状态，以便在专家重新标注可用时进行重新标注；将学习者的不安全指令排除在专家动作目标之外，并单独记录接管恢复。 基于 Ross 等 (2011年) 与 Spencer 等 (2021年)。

Spencer, Jonathan, Sanjiban Choudhury, Arun Venkatraman, Brian Ziebart, 和 J. Andrew Bagnell. 2021年. 《Feedback in Imitation Learning: The Three Regimes of Covariate Shift》. arXiv preprint arXiv:2102.02872.

使用漂移窗口内被误标为专家动作的学习器指令训练一代又一代策略，可能引发再训练级联：

1. 第 1 代： 策略以轻微的标定误差运行，导致机械臂朝关节扭矩极限漂移，直到人工操作员抓取旁路手柄。
2. 第 2 代： 若将漂移窗口指令作为专家标签呈现，策略便学会在类似的非额定状态下重复它们。 在该装置上，这可能在纠正之前增大朝扭矩极限方向的偏移幅度。
3. 第 3 代： 操作员可能更早介入。 介入率可能上升，同时错标档案上的验证损失下降，使离线指标看起来更好，而物理性能却恶化。

为检测此类级联，权限路径会为每次接管或安全屏障触发⁸发出干预记录，即 《控制权限日志》 所构建的法证权威记录在训练侧的视图。 干预记录不能仅依赖视频上的二元标志：需要足以覆盖声明的回看窗口（本例为两秒）的触发前缓冲区、同步的观测与动作打点、单调的控制权接管时间戳与授权 ID，以及随后的恢复序列。 缺少触发前证据时，该流程既无法可靠定位 \(t_{\text{div}}\)，也无法区分不安全的学员指令与适合专家重新标注的状态。

Checkpoint 1.2: 干预数据整理与误差累积界

在将人工干预日志用于策略重训练之前，应先核实你对误差累积动力学与时间戳归属的理解：

• 接管与分歧时间戳：为何保留学习者访问过的漂移状态以供专家重新标注，却将其不安全的学习者指令排除在专家模仿目标之外？
• 重训练级联演进：请描述如何在未整理的干预日志上训练相继的策略代际，从而加速策略退化，尽管训练指标有所改善？
• 条件误差界：哪些假设区分了行为克隆的二次最坏情况代价界与 DAgger 的线性时界结果？

即便专家标签覆盖学习者访问过的状态，由此产生的演示档案仍受制于采集机器人的运动学与动力学。 在机器人手臂、底座和末端执行器之间汇集演示，会引出 节 1.7 所述的跨具身问题。

跨具身迁移

来自一台物理机器的一批数据并不能代表该任务。 每一条被记录的轨迹都将采集硬件的物理特性绑定进其数值之中，包括连杆长度、关节速度极限、传感器光路、通信延迟以及接触面柔顺性。 当工程师保存一条观测—动作轨迹 \((o_t, a_t)\) 时，该记录所捕捉的并非一项抽象的操作技能。 它捕捉的是该特定机器与其环境之间建立的 具身契约。 该契约涵盖了传感器几何与光学标定、感知总线的采样周期与传输延迟、执行器的坐标系与运动学极限、电机转矩—速度饱和曲线（含齿轮传动中的折算转子惯量 \(N^2 J_{\text{rotor}}\)，如 执行器传动限制 所述），以及接触界面的摩擦与柔顺性。 改变该契约中的任一参数，都会改变指令输入与物理状态跃迁之间的映射关系。

当具身契约描述了一台机器时，跨具身兼容性契约 决定在一具身契约下生成的记录是否能够驱动另一台机器。 正是这种正式的几何、动力学与时序规范（例如支撑 Open X-Embodiment (Open X-Embodiment Collaboration 等 2024年) 与 DROID (Khazatsky 等 2024年) 数据集的规范），使得在重型工业机械臂上学到的力剖面或空间速度无法原样迁移到轻量桌面机器人上。 它定义了多机器人轨迹迁移到目标物理装置之前所需的正向运动学映射、控制率归一化（\(\Delta t\)）以及执行器力或力矩的边界。

设计数据复用流水线，需要将任务级不变量与具身化特定实现分离开来。 任务级不变量是环境所要求的几何或动力学条件，例如以相对表面法线不超过 \(5^\circ\) 的偏角将柔性探针接触到端子接触垫，同时保持法向力介于 \(2.0\text{ N}\) 与 \(5.0\text{ N}\) 之间。 具身化特定实现是在某一套具体测试台上达成该条件的关节编码器计数序列、脉宽调制占空比序列、总线传输延迟序列和相机像素栅格序列。 虽然接触目标存在于世界坐标系中，但所记录的数据集仅包含其具体实现。 直接在这些原始记录上训练的下游模型会学到源测试装置特有的动力学，包括其结构柔性、驱动背隙与相机安装振动。

举例来说，考虑将记录于 Machine A 的数据集迁移到 Machine B，以完成完全相同的接触与抓取任务：

• Machine A 采用平行夹爪，夹持行程为 \(0\text{ to }100\text{ mm}\)，指令频率为 \(50\text{ Hz}\)（\(20\text{ ms}\) 周期），连续力上限为 \(40\text{ N}\)，腕部相机位于工具中心点后方 \(45\text{ mm}\)，传输延迟为 \(15\text{ ms}\)。
• Machine B 采用紧凑型夹爪，夹持行程为 \(0\text{ to }60\text{ mm}\)，指令频率为 \(20\text{ Hz}\)（\(50\text{ ms}\) 周期），连续力上限为 \(15\text{ N}\)，腕部相机位于工具中心点后方 \(20\text{ mm}\)，传输延迟为 \(35\text{ ms}\)。

将 Machine A 的数据集映射到 Machine B 的约束下，可以揭示迁移在机械层面失效的位置。 对于宽度为 \(75\text{ mm}\) 的物体，机器 A 张开至 \(80\text{ mm}\)，该指令超出机器 B 的机械行程 \(20\text{ mm}\)，并使其丝杠顶到机械止挡。 在保持阶段，机器 A 施加 \(30\text{ N}\) 的夹紧力。 该指令超出机器 B 的连续额定值 \(15\text{ N}\) 一倍，使电机放大器进入电流饱和。 在时域中，将 \(50\text{ Hz}\) 的轨迹子采样到 Machine B 的 \(20\text{ Hz}\) 总线会混叠高频接触转换，并引入零阶保持引起的相位滞后，等效延迟为 \(15\text{ ms}\)（Discrete-time sampling and zero-order hold phase lag）。 结合相机传输延迟增加 \(20\text{ ms}\)（\(35\text{ ms} - 15\text{ ms}\)），机器 B 感知到的接触事件比机器 A 晚 \(35\text{ ms}\)。 在接近速度为 \(0.10\text{ m/s}\) 时，这一附加的传感器到执行延迟使夹爪 \(3.5\text{ mm}\) 在首个修正指令发出前越过预定接触面，而 \(25\text{ mm}\) 的相机安装差异则引入视觉视差，使工件边界在图像帧中的表观位置发生偏移。

标准机器学习流水线通过把观测与动作通道归一化到 \([0, 1]\) 或 \([-1, 1]\) 来调和这些物理差异。 归一化只是使数值范围在外观上对齐，物理上的不兼容依然存在。 若开启指令通过除以最大行程进行归一化，则归一化后的指令 \(u = 0.80\) 在机器 A 上对应 \(80\text{ mm}\)，足以容纳宽度为 \(75\text{ mm}\) 的物体。 在机器 B 上，同一归一化指令 \(u = 0.80\) 对应开启动作 \(48\text{ mm}\)（\(0.80 \times 60\text{ mm}\)），导致手指在接近轨迹中与物体发生碰撞。 归一化只是重新缩放数值，却无法增大执行器行程，无法降低电阻，也无法消除传输延迟。 当两个样机的数据分布在归一化空间中作图时，演示轨迹看起来完全相同，但只有落在物理交集内的子集（开度小于 \(60\text{ mm}\)、力小于 \(15\text{ N}\)、指令带宽小于 \(20\text{ Hz}\)）才能在目标硬件上无饱和或撞击损伤地执行。

合并语料库在更大规模上提出了这些问题。 在单个狭窄工作单元内扩展演示量虽然能带来快速的分布内饱和（在 ALOHA (Zhao 等 2023年) 上 15 小时内达到 \(>85\text{ percent}\) 的成功率），但跨新颖场景、视觉干扰纹理以及未建模物体变化的分布外（OOD）泛化仍然很差（\(22\text{ percent}\)，形成 66 个百分点的脆弱性区间）。 要克服这一失败，必须突破单个工作单元内的采集，转向野外多场景采集（例如 DROID (Khazatsky 等 2024年) 中的 564 个厨房与家庭环境，或多机构 BridgeData v2 (Walke 等 2023年)），并在不同具身之间汇集异构运动学（例如 Open X-Embodiment (Open X-Embodiment Collaboration 等 2024年) 中的 22 个机器人平台，以及基础 VLA 如 \(\pi_0\) (Black 等 2024年)）。 正如 图 5 所示，系统性地扩展多场景与跨具身演示小时数，可将这一泛化差距从 66 个百分点收缩至 13 个百分点。

图 5: 机器人数据规模前沿：真实世界演示小时数与物理操作任务成功率，跨越三个经验性阶段。 分布内（ID）成功率在狭窄工作单元（Phase I，记忆化阶段）内迅速饱和，在新型光照或物体摆放条件下留下 66 个百分点的脆弱性区间（ALOHA (Zhao 等 2023年)）。 在多样化环境中采集（Phase II，BridgeData v2 (Walke 等 2023年) 与 DROID (Khazatsky 等 2024年)）并在异构机器人具身之间汇总（Phase III，Open X-Embodiment (Open X-Embodiment Collaboration 等 2024年) 与基础视觉—语言—动作模型 (Black 等 2024年)），将泛化差距收窄至 10,000 演示小时对应的 13 个百分点。

Zhao, Tony Z., Vikash Kumar, Sergey Levine, 和 Chelsea Finn. 2023年. 《Learning fine-grained bimanual manipulation with low-cost hardware》. Robotics: Science and Systems (RSS). https://doi.org/10.15607/RSS.2023.XIX.016.

Walke, Homer, Kevin Black, Abraham Lee, Anthony Zheng, Congyue Zhao, Philippe Hansen-Estruch, Minho Yu, 等. 2023年. 《BridgeData V2: A Dataset for Robot Learning at Scale》. Conference on Robot Learning (CoRL).

Open X-Embodiment Collaboration, Abhishek Padalkar, Acorn Pooley, 等. 2024年. 《Open X-Embodiment: Robotic Learning Datasets and RT-X Models》. 2024 IEEE International Conference on Robotics and Automation (ICRA), 6892～903.

Black, Kevin, Homer Walke, Kevin Bishop, Lee Zhang, Albert Fang, Brent Chen, Steven Morad, 等. 2024年. 《\(\pi_0\): A Flow-Matching Foundation Model for Generalist Robots》. arXiv preprint arXiv:2410.24164.

行程、力、速率与视角的不一致，在任何池子中都会出现，正如两夹爪的例子中那样。 另有两种不一致，只有当池子混合了不同运动学构型时才会出现：

1. 动作空间不兼容：一台 7 自由度的机械臂记录关节位置\(\mathbf{q} \in \mathbb{R}^7\)，一台双臂工作站记录\(\mathbf{q} \in \mathbb{R}^{14}\)，一台移动底盘记录平面速度\((\dot{x}, \dot{y}, \dot{\theta})\)。 由于关节空间的标签无法在不同构型之间迁移，多具身模型通常将动作投影到笛卡尔末端执行器增量： \[\Delta \mathbf{x}_t = (\Delta x, \Delta y, \Delta z, \Delta \phi_{\text{roll}}, \Delta \phi_{\text{pitch}}, \Delta \phi_{\text{yaw}}) \in SE(3), \quad a_{\text{gripper}} \in [0, 1].\] 该增量统一了几何信息，同时丢弃执行器动力学。 对于一台处于标称构型附近的工业机器人臂，一个微不足道的位移，也可能使一台轻量机械臂穿过运动学奇异点（Forward kinematics and singularities），此时所需的关节角速度趋于无穷大，过流保护随之触发。
2. 零空间投影：将 7 自由度机械臂映射到 6 自由度笛卡尔增量，会在投影中消去一维零空间自由度，即肘部回转角 \(\psi\)。 在目标机上，逆运动学求解器依据自身的判据消解该冗余性，例如关节限位规避或可操作度。 缺少演示者的肘部姿态，目标机械臂可能在源数据中无碰撞的运动过程中漂移进关节限位，或将肘部扫入夹具。

跨具身复用物理数据，必须在任何样本进入训练缓冲区之前，在摄取边界处执行正式的兼容性检查。 摄取管线必须通过正向运动学将记录轨迹转换为坐标一致性校验 (Lynch 和 Park 2017年)，验证所有指令关节角速度、角加速度均处于目标机器的动力学限内 (Tedrake 2023年)，并验证感知特征与目标传感器的视场和分辨率相匹配。 超出运动学可达范围或执行器的力或力矩限的动作，不能在执行时简单地进行钳制；钳制会扭曲速度曲线，并破坏观测误差与纠正动作之间的因果关系。 通过兼容性检查的样本被接受；可通过逆运动学几何重新瞄准的样本被重新标记；而需要机器不具备的物理执行能力或不可观测状态的样本被拒绝。 跨越具身边界的不受验证的摄取管线，会向模型的训练分布注入无效动力学。 由此得到的策略失败，并不是因为神经网络对训练损失欠拟合。 它之所以失败，是因为训练数据集包含了仅在采集它们的机器上物理上合理、却并不普适的动作。

Lynch, Kevin M, 和 Frank C Park. 2017年. Modern Robotics: Mechanics, Planning, and Control. Cambridge University Press.

Tedrake, Russ. 2023年. Robotic Manipulation: Perception, Planning, and Control. Massachusetts Institute of Technology.

兼容性检查只能守护一个边界；而机器自身采集的数据，也可能在未跨越具身边界的情况下出错。 操作员漂移、标定偏移、采集装置不匹配以及误分类的失败，会破坏物理数据，却不会改变张量的维度（节 1.8）。

《数据集为何出错》

除了锁具台账所声明的缺席项（更快的接近运动与错位的扣板），更棘手的失败藏在唯一受支持的那格之中：被保留的示范可能在没有任何张量检查能够察觉的方式下出错，因为对数据集计算的每个指标都只评估其所包含的状态。

第一种是操作漂移。 在本次采集活动为该工位安排的 141.4 h 作业时长内，一位起初动作刻意、带有纠正性微动并在锁扣板处停顿的操作者，会逐渐形成肌肉记忆，并开始将转角走成圆弧，并凭惯性甩门。 后段的示范依赖时序，而部署时的闭环延迟使机器无法复现该时序。 漂移通过把数据集划分为时间窗口来检测，并比较各窗口之间的 回合时长、纠正性加加速度事件次数、指令幅值与干预率。 将漂移后的窗口池化为一个同分布样本，会教出一个策略：它究竟迟疑还是猛冲，取决于它恰好模仿了操作者学习曲线的哪个阶段。

第二项是机器在记录运行之间发生了变化。 文件容器（如 HDF5、Zarr 或 Parquet）强制表格数据模式的一致性，并掩盖了其余一切。 机械臂在夜间关机、重新标定，或被技术人员碰动，都会改变其编码器零偏置或相机的外参；而相机支架的位移（\(3\text{ mm}\)）会使工件在图像中的位置发生移动，同时数组保持其形状与类型。 时钟同步也可能在控制器之间发生同样的漂移，使机械臂所见与所感之间的配对关系偏移数十毫秒（按时移动指令）。⁹ 图 6 展示了该检查的视觉部分：由关节编码器渲染出的机器人运动学模型被投影到每一路相机流上，使外参偏移表现为线框与机械臂之间的间隙。 检查的记录审计部分会将每一集与由校准标识符和时钟健康度指标构成的审计轨迹关联起来；因为若轨迹之间不共享同一套有效校准，学习者就必须在同一坐标系下拟合相互冲突的映射。

图 6: 多相机外参标定验证：使用 DROID 采集的六个场景，将机器人 URDF 网格从关节编码器直接渲染叠加到相机流上 (Khazatsky 等 2024年)。 该叠加把不可见的失败转化为可见的失败：几毫米的支架偏移会在任何被污染的轨迹进入训练流程之前，先表现为线框与机械臂之间的不一致。 数据集记录中的不可变校准哈希，正是使该检查事后可审计的原因。

Khazatsky, Alexander, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, 等. 2024年. 《DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset》. Robotics: Science and Systems (RSS).

第三，是名义上相同的整套装置之间的不匹配，当机队中的第二台移动操作臂为第一台记录闩锁操作演示时，机队便立即遇到这一问题。 同一型号的两条机械臂可能在减速器磨损、热行为或固件滤波方面存在差异。 在一个示例性对比中，一条新机械臂的背隙为 \(0.02^\circ\)，一条磨损机械臂的背隙为 \(0.35^\circ\)，并带有 \(22\text{ ms}\) 的扭矩响应滞后；磨损机械臂的演示带有补偿性的提前量与增益，在新机械臂上会产生振荡。 每条机械臂的具身契约（运动学、执行器序列号、固件版本和动力学模型）记录绑定到每个文件，使得摄取过程可以排除不符合目标兼容性契约的轨迹。

第四，是将失败的尝试与失败的记录混为一谈。 失败的尝试是指未能达成目标的完整物理过程；丢弃它会带来幸存者偏差，并剥离稳定策略所需的错误状态。 一次失败的记录属于记录故障，例如丢包、损坏的帧或缓冲区溢出；若保留此类故障记录却不对异常加以处理，就会把不规则的采样周期当作恒定的控制周期。 因此，摄取环节将每一次尝试对账为“保留的成功”“保留的失败”，或“带错误码的排除记录”。 在闩锁试验中，由接触触发线终止的尝试属于失败尝试，并保留在归档中；而力通道丢包的记录则被排除出归档，并附带其错误码。

计量单位约定同样可能悄无声息地失效，而且没有任何格式检查能够发现这一点（1.1）。

War Story 1.1: 火星气候轨道器单位不匹配（1999 年）

背景：1998 和 1999 年，火星气候轨道器在前往火星的九个月巡航期间，通过点燃小型推进器来对其反作用轮进行去饱和，卸载积累的角动量，地面上的导航团队将这些速度变化折算进用于规划每次修正机动所采用的轨迹模型中 (Stephenson 等 1999年)。

机制：一份地面软件文件（在调查中被称为“Small Forces”）报告了推力冲量，单位为磅力-秒（\(\text{lbf}\cdot\text{s}\)），而使用该数据的轨迹模型则按接口规范的要求，将输入值解释为以牛顿-秒（\(\text{N}\cdot\text{s}\)）为单位的冲量。 由于 \(1\text{ lbf}\cdot\text{s} = 4.45\text{ N}\cdot\text{s}\)，每一次去饱和事件进入模型时的量都偏小 \(4.45\) 倍。 这些数值格式良好、处于合理范围内，且类型符合预期，因此没有任何模式校验能够将其标记出来。

影响：该累积误差在整个巡航期间从未得到解决。 在轨道插入时，航天器的高度约为地表上方 \(57\text{ km}\)，而非计划的 \(226\text{ km}\)，最终丢失。

应对：事故调查委员会将损失归因于地面文件中缺失的单位换算，并建议火星极轨着陆器项目在设计与运行全过程中确保单位一致，并审计所有在 JPL 与洛克希德·马丁宇航公司之间传输的数据是否符合接口规范，同时加强导航审查与异常升级机制。

系统教训：数值只有与它的单位、坐标系一同出现时，才携带其含义。 机器人数据集在每一次动作采样和每一次标定中，都面临同样的风险。 一条在缺少其产生所依据的单位、坐标系和标定标识符的情况下仍存储数值的记录，会让配置不匹配的机架通过全部张量检查，这正是 节 1.9 的溯源记录将每次采样与之绑定的原因。

Stephenson, Arthur G. 等. 1999年. Mars Climate Orbiter Mishap Investigation Board Phase I Report. National Aeronautics; Space Administration.

除静默的坐标与单位不匹配之外，更危险的一种失效发生在自主策略遇到其训练分布中完全不存在的情形时。 软件中的计量单位不匹配会不断累积数值误差，而，一个未被访问的状态会迫使学习得到的策略在其支撑包络之外进行插值或选择名义原语。 当感官遮挡使真实物理状态不可观测时，由此产生的执行可能将一次可幸存的事件转化为物理灾难（1.2）。

War Story 1.2: Cruise 机器人出租车拖拽行人事故（2023 年）

背景：2023 年 10 月 2 日，在旧金山，Cruise LLC 运营的自动驾驶机器人出租车在城市车道内行驶时，一辆相邻的由人类驾驶的轿车撞上了行人，将其抛出车道分隔线，直接撞入机器人出租车的行进路线(National Highway Traffic Safety Administration, Office of Defects Investigation 2023年; Cruise LLC 2023年; Quinn Emanuel Urquhart and Sullivan, LLP 2024年)。

机制：机器人出租车以\(1.4g\)的减速度执行了紧急制动，在\(0.46\text{ s}\)内停下，最终停在了被底盘压住的行人身上。 然而，碰撞检测系统将该事件误判为一次侧面擦碰，而非车辆下方的障碍物碰撞。 由于车顶安装的激光雷达和周视摄像头在底盘下方存在锐利的物理盲区，行人因此变得不可观测。 该学习得到的驾驶策略是在常规车队演示数据上训练的，其中事故后驶离车流属于标准操作，因而选择了一个常规靠边停车原语以清空行进车道。 训练分布中没有任何“碰撞后人类被困于底盘下方”状态的演示样本(\(d^{\pi_{\text{col}}}(s) = 0\))。

影响：在其训练支撑包络之外执行缺乏训练支撑的靠边停车原语时，机器人出租车向前加速，以最高 \(7\text{ mph}\)（\(11\text{ km/h}\)）的速度拖拽被困行人，拖拽距离为 \(20\text{ feet}\)（20 英尺）（即 \(6.1\text{ meters}\)，约 6.1 米），在最终停下之前造成了严重二次创伤。

监管响应：监管机构立即暂停了商业部署许可。 该公司停用了整个车队，对其感知与安全软件进行了全面重构，并设置了硬性物理约束，要求在任何车辆重新启用之前，必须明确确认碰撞后互锁已生效，并获得远程操作确认。

系统教训：Cruise 事件(图 7) 表明，物理人工智能数据集中缺失支撑具有致命危险。 在已演示状态的实证支撑包络之外，策略并不会失效为安全被动——它们会插值出标称原语，将可幸存的事故转化为致命交互。 数据集必须界定其显式场景支撑包络，且架构必须在传感器遮挡与撞击后不确定性违反支撑边界时强制确定性控制拒绝。

Quinn Emanuel Urquhart and Sullivan, LLP. 2024年. Report to the Boards of Directors of Cruise LLC, GM Cruise Holdings LLC, and General Motors Holdings LLC Regarding the October 2, 2023 Accident in San Francisco. Quinn Emanuel Urquhart; Sullivan, LLP.

Cruise LLC. 2023年. Part 573 Safety Recall Report 23E-086: Cruise LLC Automated Driving System Collision Detection Subsystem. Nos. 23E-086. U.S. Department of Transportation, National Highway Traffic Safety Administration.

National Highway Traffic Safety Administration, Office of Defects Investigation. 2023年. ODI Resume, Investigation PE23-018: Automated Driving System. Nos. PE23-018. U.S. Department of Transportation.

图 7: Cruise 车底盲区失效：测试车辆的顶置传感器在保险杠高度及以上处勘察周边，留下地板下方的一处盲区，以及随后发生的失效级联。 首次制动停车成功，以 \(1.4g\) 的减速度在 \(0.46\text{ s}\) 内停下。 将碰撞变成拖拽的是恢复动作：状态被误分类为侧面刮擦，标称的靠边停车原语被触发，且在未明确确认车底无障碍物的情况下重新施加了驱动扭矩。

当坐标失效或未观测到的场景盲区通过摄取时，损失曲线不会将其暴露出来。 该网络平均化相互冲突的演示，或在训练支撑之外幻觉出动作，在收敛训练损失的同时，于部署阶段产生危险的物理行为。 对张量的任何操作都无法验证机器是否经过标定、操作者是否发生漂移，或未被访问的区域是否安全，因此，采集历史必须与特征一样严格地记录，其结构采用 节 1.9 的格式。

数据集模式

考虑对 门闩任务中两个文件进行的示例性审计，两个文件各自包含相同数量的状态—动作对，且采样记录速率相同。 文件 A 来自四个授权操作者，跨越数天，未报告任何权限路径钳制，且全程使用相同的指尖接触面。 文件 B 来自一名操作者，记录了 620 步，其中关节速度上限钳制了请求的运动，并在会话中途发生了力传感器重新归零，而相机外参未重新标定。 一个检查张量形状与取值范围的验证脚本两者都接受，但 文件 A 可以支撑关于受支持单元格的论断，而文件 B 将操作意图与权限路径动作混在一起，跨越了机器本体中未记录的变更。 数组中的内容无法区分这两者，因此这一区别必须体现在每份文件的采集记录中。

该记录是 演示溯源记录，它将每次演示绑定到产生该演示的机器本体与条件，并把覆盖率表述为数据集对场景台账的连接，而非采集者恰好记录的取值范围。 它消费 交接矩阵 的交接记录，保留采集机器预算所适用的运行条件与时钟域，并补充自身字段：产生每次演示的具体被控对象的身份、标定与接触磨损，会话及其时序，四个动作采样点，采集分母，数据所依据的场景台账摘要，以及台账的受支持单元格与已知缺失项。

训练语料中的每条轨迹都必须标明其采集来源、采集策略和执行授权。 当数据源自人工遥操作时，记录需登记操作者标识、接口硬件以及传输时序，例如以 \(100\text{ Hz}\) 采样的 6-DoF 主端机械臂，并记录 \(0.8\text{ ms}\) 的输入抖动。 当数据源自自主或混合控制器时，记录需保存精确的策略检查点、规划器版本以及生效的约束配置，包括笛卡尔包围盒、关节速度限制和接触力钳制阈值。 轨迹还必须记录生效的留存规则，说明该回合是在任务完成后自动提交、经操作者显式复核后保留，还是被标记为具有教学意义的失败恢复案例。

物理机器无法通过通用模型名称加以识别。 数据记录通过其传感器外参与内参标定、动作契约、电机驱动固件版本以及部件磨损状态来唯一定位具体机器。 可更换的接触面会改变系统的支配动力学。 装有柔顺的 \(30\text{ A}\) 硬度硅橡胶垫的夹爪，与装有磨损 \(60\text{ A}\) 聚氨酯垫的同一夹爪在相同关节指令下，会产生不同的接触柔顺性与摩擦。 维护节点，例如线缆重新张紧、驱动皮带更换、齿轮箱更换和相机重新安装，均直接记录到机器状态记录中。 若机械臂在上午与下午采集班次之间进行了关节重新标定，则该数据集必须暴露这一边界，以免下游训练试图将两套相互冲突的运动学映射合并为单一策略。

数据集体量的核算需要跨时间与试验次数给出显式分母，因为保留帧数或成功回合数会掩盖产生它们的过程的产出率。 因此，该记录跟踪计划中的单元时间、有效运动时间、尝试过的回合数、保留的成功回合、保留的任务失败、被排除的录制，以及独立物理任务配置的数量，以便每一次尝试都能与一个保留回合或一个被排除回合对账，并且重置物理场景所花费的时间保持可见。

数据集中的一个动作列会掩盖请求与响应之间的过滤，因此该记录在每个控制步保留 1.2 的全部四个动作采样点。 与布尔覆盖标志、截断标记和数值排除码一同记录，这些采样点显示了许可路径介入的位置，以及跟踪滞后将指令与执行分离的位置。 丢弃中间表示后，训练流程便无法区分有意的人类示范与经许可路径大幅修改的动作。

每个物理数据集仅覆盖 ODD 的一部分，因此该记录同时登记其已支持的单元及其已知缺失项；明确“缺失”可避免工程师将训练失败的不存在误当作策略能力的证据。 下游验证将记录中未被登记的任何缺失项一律视为不安全。 为闩锁实验补录，各字段组及其所支持的准入检查列于 表 4，该记录内容如下：

• 分母： 52 表示每次排程会话的尝试次数，净留存率为 0.68，因此 5,000 次留存成功的演示对应 7,353 次尝试，覆盖 141.4 h 的排程单元时间。
• 留存规则： 接触力越过 15 N 触发线的尝试即告终止，并在遥测有效时作为带标签的失败保留，不计入演示次数；质量过滤未通过的记录则予以排除，并注明其排除代码。
• 场景账本： 板偏移（标称，+3 mm，−3 mm）与接近速度（0.03 m/s，0.10 m/s）交叉组合，共 six 个单元，以摘要形式而非副本形式记录。
• supported_cells: 板处于标称位置且接近速度为 0.03 m/s，即保留演示所占据的唯一单元格。
• known_absences: 其余 five 个单元格，即每一块被位移的板以及每个 0.10 m/s 接近动作。

表 4: 演示数据集溯源模式：保留证据，并对演示溯源记录的每个字段组应用准入检查；本体、传感器标定和接触磨损组绑定了采集该数据的具体物理被控系统。

来源记录	保留证据	准入决定
会话	采集器、操作员、策略版本、采样率与定时抖动。	检查操作员授权与会话抖动预算。
具身化	机器人身份、几何、减速比、背隙与固件。	在目标被控对象上检查可达性、动力学与关节限位。
传感器标定	相机几何、时钟同步与力/力矩偏差。	检查标定有效期与时间基准误差。
接触磨损	末端执行器材料、硬度、摩擦、弯折循环次数与维护历史。	在材料或刚度变更后重新验证接触数据。
四个动作采样点	请求值、映射值、经约束强制实施的值和测量值，各自带有单位与所属坐标系，以及覆盖和钳制代码。	比较同类别、已对齐的值；将权限路径动作排除在标签之外。
过渡时序	曝光中点、动作发出、映射、约束强制实施、响应开始和响应结束的时刻，以及时钟 ID 与同步误差。	检查因果顺序和声明的响应窗口。
采集分母	计划单元时间、运动时间、尝试次数、保留的成功与失败、排除的录制以及任务配置。	将尝试次数与保留和排除的回合核对。
场景支持	场景账本摘要、连接运算所支持的单元，以及已知的缺失项。	拒绝支持单元之外的部署查询，直至取得证据。

链中的下一条记录是 策略清单 的策略清单，它以摘要引用该记录，并可能声明不超过此处所列支持单元格的 ODD。 除训练之外，下游生命周期阶段会针对不同的工程决策消费数据记录：

• 人与覆盖（override）溯源直接输入到 监督性干预 的监督审计中，其中安全工程师评估示教者一致性、遥操作延迟尾部，以及权限路径干预的频率，以评估人的可靠性。
• 覆盖边界、排除台账与具身校准历史向前传递至 部署发布，在其中构成安全论证的经验基线，验证训练分布在放行所声称的 ODD 上具备覆盖性，在学习策略获得物理机器执行授权之前。

通过将物理运动轨迹与可验证的具身元数据、多流动作元组以及支持边界耦合起来，溯源模式使任何向被控系统从未经历过的工况的外推变得可见，因此下游阶段可以拒绝它。

↳ 下游： 已知的缺失与 ODD 边界模式输入到 安全论证与主张 中的形式化安全论证主张。

谬误与陷阱

一个干净的训练数据集可能遗漏部署机器必须处理的状态。 覆盖度取决于采集策略（生成动作的人类操作员或自动化脚本）、物理实验装置，以及决定哪些经验能够留存于档案中的策展决策。

谬误：庞大的样本量可以弥补操作状态空间的覆盖不足。

一个表面跟踪任务需要跨越 500 种力、摩擦力和接触角组合的数据，但档案仅覆盖其中 45 种。 另一个会话通过在已填充状态空间单元中重复标称运动，额外增加了 \(72{,}000\) 个控制步。 该管线的数据摄取报告显示数据量大幅增长、零丢包，但物理覆盖度并未改变。 间隔较近的样本以更密集的方式描述同一份有限的物理经验；它们并未为缺失的摩擦或接触条件提供任何证据。 因此，数据集的接受标准必须将新增覆盖度与运行场景台账相对照。 只有当演示针对缺失的工况或已识别的薄弱环节时，才值得其采集成本；仅仅扩充档案库并不足以使其物有所值。

陷阱: 假定物理演示标签能够经受机械或接触硬件的维护。

一名维护技师将夹爪的柔性指尖更换为更硬的垫块，并调整其相机支架。 存档演示仍然通过数据结构模式检查（数据类型和数组形状仍然完全有效），但物理现实已经改变。 一个已知的相机位姿调整可以支持视觉数据的坐标重投影。 然而，这种几何校正无法确立新的、更硬的手指在接触下的行为，它们比顺从的旧手指在更低的力阈值下发生滑移。 历史力与触觉测量仍然是旧机身的记录，因此其作为训练目标的适用性需要重新验证。 数据集来源必须标识采集装置（collection rig）的机械与标定状态，使维护变更能够触发适当的复核或重新采集。

陷阱：过滤被中止的安全干预以净化演示数据集

插入数据集包含 1000 次尝试，其中 180 次为非标称运行，其接触力达到或超过阈值限值（例如一次 \(15.0\text{ N}\) 安全跳闸），从而留下 820 次标称成功（任务成功率 82%）。 筛选脚本剔除了 180 次中止或恢复试验，只保留 820 次完全无瑕疵的轨迹，其接触力始终低于 \(8.0\text{ N}\)。 当部署扰动随后将机器人的接触力推至 \(9.5\text{ N}\) 时，策略立即处于所保留的经验之外，尽管硬件限值尚未达到。 表面上更干净的训练集，抹去了接近物理边界的关键时刻，以及随后的恢复干预。 保留并识别这些轨迹，能够保存关于失败与恢复的证据；因它们不成功而将其删除，则会形成对任务的误导性认识。

陷阱：跨运动学非对称领航者接口采集的示教合并

两名操作员使用不同的机械臂控制器（用于操纵机器人的手持控制器）采集快装机构演示。 其中一个接口只允许两个腕部滚转位置（\(\theta_{\text{roll}} \in \{0.0^\circ, 90.0^\circ\}\)），另一个则在机械上把滚转限制为 \([-15.0^\circ, +15.0^\circ]\)。 合并他们的 4000 个回合 会增加数据量，但两个接口都不提供 \(20.0^\circ\) 与 \(70.0^\circ\) 之间所需的中间朝向。 基于合并档案训练的策略仍然缺少这些扰动对应的演示。 聚合无法消除两个采集接口共有的盲区。 团队必须把记录的朝向与任务要求对应起来，并在分配更多采集工时之前，检查机械臂控制器能否表达缺失的动作。

谬误：物理数据采集随人工工时线性扩展，正如互联网抓取随算力线性扩展。

一个团队根据每位操作员每小时 50 个成功 episode 的初始速率，推算其双机械臂数据集的采集预算。 随着采集持续进行，反复的物理冲击会损坏减速器，传感器漂移会使部分演示失效（未校准的关节角逐渐与物理真值脱节），而操作员疲劳则会改变人类动作的时序。 尽管计划工时保持不变，留存 episode 的速率反而下降。 因此，一次短暂的标称试验会高估持续采集的吞吐量。 规划必须将维护、校准检查、休息以及被拒数据与操作员时间一并纳入。 有用的生产度量是在有记录的条件下被接受的经验，因为机械性能退化或对齐不佳的录制可能增加存储量，却不会提升数据集的价值。

摘要

物理数据采集将机械功与硬件疲劳转化为机器人 ODD 中受支持的单元。 一次会话仅保留不到其计划时间的四分之一为验证过的演示，而每一次尝试，无论是否保留，都会消耗腕部额定疲劳寿命，因此在讨论其质量之前，档案本身就已经稀缺。 由于采集策略自行选择下一个观测（原则 Endogenous data），覆盖度是关于档案如何被采集的事实，而非关于档案内容的事实。 验证损失取自同一占用情况，无法在采集活动结束后暴露这一事实，因此必须在其仍可被观察的采集过程中记录下来，具体表现为与已声明账本的关联，以及每一步记录的溯源字段。 受支持的单元，而非档案的规模，界定了基于该数据训练的策略可能被信任地做到什么，因为损失函数无法涵盖机器人从未遇到的物理响应。 演示溯源记录通过把每个演示绑定到其装置、动作链路上的信号采集点以及它所覆盖和遗漏的单元格，使该界限明确。

要点回顾: 物理数据采集与溯源

• 覆盖率统计的是配置数，而非样本数： 重复的标称运动只会增加行，而不会增加场景单元；相邻的控制步几乎是重复项。 数据集的可达性，是它与覆盖 ODD 的场景台账做连接，而不是它的样本数量，或它恰好记录到的极端值。
• 验证损失无法看到覆盖缺口： 留出集与采集器的占用情况相同，因此接近零的验证损失可以与绝大多数必需单元为空并存。 只有与外部台账的连接才能暴露这一缺口。
• 动作链路上每个采集点的信号都不同： 请求、映射后的设定值、施加的指令以及测得的响应，在授权路径或本体介入之处各不相同。 若数据集仅保留其中一种信号，就会使训练以不可行的需求或被误认为技能的回差为依据，并掩盖每一次介入。
• 保留失败与接管，并正确归因： 删去被中止的试运行会抹去最接近边界的那些状态。 接管之前学习器发出的指令仍保留在记录中，用于审计和专家重新标注，但绝不作为专家标签；接管之后的恢复则是一条独立的专家序列。
• 数据始终绑定采集它的那具本体： 相机几何可以重新投影，但接触磨损、柔顺性与回差都已烘焙进力与触觉标签。 来自经过改动的本体或不同本体的数据需要重新验证，而量程归一化只会掩盖这种不匹配，而非消除它。
• 缺失随数据集而来：训练无法合成采集所遗漏的物理，因此谱系记录列出其支持的单元及其已知缺失。 基于该数据训练的策略，之后可能声明的操作域不超过这些受支持单元。

后续内容: 从演示到策略

哪一种经验来源能够教会策略其演示从未展示的那些恢复？ 闩锁任务数据采集活动的溯源记录仅支持防护接近处的标称锁扣板，并将其余每个单元都列为已知缺失。策略训练 将探讨这一缺口，比较模仿、离线学习、仿真与在实体机器上进行的微调，依据各方法所能提供的恢复与各自能够隐藏的作动器动力学，并将结果记录在策略清单中，其声明的 ODD 不得超过所支持的单元。

脚注

1. 因果边界 ：计算与物理之间的因果边界确立于 因果边界。 由于状态演化依赖于电机驱动，策略动作会扰动未来观测的分布，从而破坏无身体机器学习的独立同分布（i.i.d.）假设。

2. 行为克隆界: 由 Ross 等 (2011年) 导出的界是期望累计成本的最坏情况界，而非跟踪误差的预测；实际漂移取决于被控对象、任务、策略与保障措施。 Imitation Learning and Compounding Covariate Shift 导出该界，并给出其损失与有界成本假设。

3. 硬件疲劳寿命: 执行器热极限与齿轮箱磨损（详见 执行器传动限制 与 热工作占空比）会在一轮任务期间改变关节摩擦，因此假定被控对象动力学为定常的流水线会随采集机器老化而遭遇漂移。

4. 提案边界、：提案边界（定义见 《五层机器》）将学习得到的提案与许可路径分开，只有许可路径才可能将其接纳至执行器（安全执行）。 在边界两侧记录动作，可把许可路径的干预排除在演示者的标签之外。

5. 双边遥操作谱系: Raymond Goertz 于 1940 年代末和 1950 年代在阿贡国家实验室建造了第一台双边主从遥操作装置，用于处理放射性材料。 他的联动机构跨越一道物理屏障传递力，因为操作者缺乏本体感觉阻力，远程机构便卡死。

6. 硬件定时器中断 ：在实时 MCU 上，编码器计数与电流分流读数由硬件定时器及直接内存访问（DMA）锁存，从而将采样抖动控制在微秒量级，并避免数值微分中的时间戳抖动影响速度与加速度。

7. 校正聚合误差界：DAgger (Ross 等 2011年) 在学习者访问过的状态上查询专家，并聚合这些被标注的状态。 其线性时域结果依赖于专家预言机、在线学习的遗憾、有界成本，以及所得策略的实测损失。 参见 Imitation Learning and Compounding Covariate Shift。

8. 故障事件记录：该采集设计跨控制权接管事件保留触发前状态、动作授权、故障代码与执行器电流采样，并对已存储记录执行完整性检查。 此类遥测有助于区分策略漂移与硬件或环境故障。

9. 主机分配时间戳: 与 PTP 同步的以太网不同，没有硬件时间戳的总线（如 USB 和经典 CAN），由主机负责分配到达时间，这为每个采样点增加了驱动延迟和调度抖动。

Ross, Stéphane, Geoffrey Gordon, 和 Drew Bagnell. 2011年. 《A reduction of imitation learning and structured prediction to no-regret online learning》. Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, 627～35.