认知脑
认知脑
目的
为什么机器人上最强大的模型每秒只能修订几次计划？
在人机共存的场景中运行的机器人，必须解读动态环境并提出远超经典自动化刚性脚本的动作。 高容量学习模型通过离线训练获得的庞大表示，为多模态感知流提供语义推理的接地依据。 然而，这种表达能力需要以高内存流量和严重的计算延迟为代价。 对数十亿参数网络的每一次前向评估，都会经由带宽有限的内存互连传输权重。 因此，对开放世界场景理解得最好的 审议模型，恰恰是修订决策频率最低的那个组件。
为了在两次审议更新之间持续向执行器供给动作设定值，Brain 必须发出前瞻动作片段——即未来设定值的时序序列。 然而，这些拟定的设定值会随生成这些设定值的陈旧观测一同老化，而准时到达的提议仍可能带来物理上的灾难性后果。 高预测置信度并不使统计模型有权指挥物理机器。 Brain 在提案边界处生成候选行为，而确定性的 Nervous System 在允许低级指令跨越因果边界之前，会依据当前传感器遥测与安全包络对每个片段逐一评估。
↰ 前置条件： 一个学习得到的提案在被许可路径接纳之前，始终不享有特权，这是 四条基石定律 的第三条定律。
学习目标
- 比较经典分析流水线与学习得到的表示在覆盖范围、鲁棒性与可验证性上的差异
- 根据模型的权重占用与持续内存带宽，计算其新鲜评估速率的带宽上限
- 根据相机数量、每步词元数与保留的历史长度，估算键值缓存的增长量
- 解释动作分块为何能在不使提案变得更新（refresh）的情况下成倍增加设定值供给
- 结合重规划周期、推理延迟和目标漂移，为移动目标确定动作分块的长度
- 诊断由幻觉、置信度校准偏差、感知抖动和意图过期引起的提案器失败
- 评估为何这些提案器限制需要一个能够拒绝任何提案的授权路径
具身大脑
仓库移动操作机器人可以满足全部电气与热预算，却仍会在“到取货站从移动的传送带上取下一只不熟悉的陶瓷杯，并递给打包站的同事”这样普通的任务上失败。 电机驱动器始终处于其连续扭矩额定值之内，控制轨在满电状态下维持电压，关节角速度始终低于物理极限。 然而，机器会掉落物体，或压碎陶瓷杯沿，因为低层电机物理既无法判定物体是什么，也无法确定其结构上的可操作性位置，更无法规划绕过障碍物的路径。 与咨询式显示界面不同，其输出在影响世界之前可以被人工复核；而这里的认知提案可以直接作用于运动中的质量，中间没有任何人来把关。 如果执行路径接受了一个错误的提案，就可能产生不安全的动能，因此必须独立地检查授权。 具身认知的核心困境在于：高容量的神经模型本质上是随机的、计算成本高昂，并且容易凭空捏造并不存在的物体，然而它们必须调度那些碰撞无法被撤销的物理身体（第一条定律，四条基石定律）。
因此，Brain 是一个不具备执行特权的审议引擎，只能提出提案（提案边界）。 这种架构上的分离将机器组织为双速大脑架构（参见 图 1） 在审议层，高容量基础模型以\(1\text{--}50\text{ Hz}\)执行缓慢推理，解析开放世界多模态流并输出结构化提案。 在实时层，确定性安全监控器在隔离的安全芯片上以\(1000\text{ Hz}\)的频率运行，在授予执行许可\(u^*\)之前，将候选提案与物理极限比对；或者断言异步拒绝，触发审议状态重同步。 在移动操作臂上，它持有两个学习式提案器：一个意图模型在\(1\text{--}5\text{ Hz}\)修订目标，一个动作片段策略在\(10\text{--}50\text{ Hz}\)发出短序列的未来设定值；许可路径可以拒绝其中任何一个的提案。 这种保护仅在极限、状态估计及其所依赖的兜底方案仍然有效时才成立。
一个学得的提案者通过完成手写几何无法完成的工作而赢得其位置。 它能够识别无人建模的对象，依据开放词表指令；它容忍会破坏手写过滤器的眩光与杂乱；它将所识别的内容锚定到机械臂可达的度量坐标。 这些能力中的每一项都来自一个模型，而该模型的规模同样决定了其可运行频率。图 2 展示了跨工作负载类别的张力：承载最多参数的模型更新频率最低，远低于 Body 回路闭合的速率。 因此，本章的问题是：学得的提案者能够在时限内交付什么，以及其在内存、延迟和新鲜度方面付出多大代价。
节 1.2 说明了基于手工编写几何与状态机的流水线为何在工厂单元之外失去覆盖，节 1.3 说明了学到的表示能够恢复什么，以及它们在词元与内存流量上的代价。节 1.4 将这一代价转化为机器自身的数字：限制意图模型运行频率的内存墙、在两次评估之间持续为机械臂提供可执行动作的动作切分，以及限制每个切分保持为真的时长的漂移。节 1.5 接着讨论提案可以准时到达却仍然出错的各种方式，每一种方式都使许可路径留下一个它必须能够拒绝的提案。
“经典壁垒”
近一个世纪以来，自动化控制与机器人学都将认知视为一个显式的几何与分析力学问题 (Wiener 1948年; Kalman 1960年; Craig 2005年)。 在这一经典范式下，工程师从第一性原理出发构建数学表示。
Wiener, Norbert. 1948年. Cybernetics: Or Control and Communication in the Animal and the Machine. John Wiley & Sons.
Kalman, Rudolph Emil. 1960年. 《A new approach to linear filtering and prediction problems》. Journal of Basic Engineering 82 (1): 35～45.
Craig, John J. 2005年. Introduction to Robotics: Mechanics and Control. 3rd 版. Pearson Prentice Hall.
工程师使用解析运动学与微分动力学，通过闭式方程将期望的末端执行器运动映射为执行器力矩。1 感知则依靠将手工制作的 3D 计算机辅助设计（CAD）模型与传感器点云进行匹配，采用几何对齐算法，例如迭代最近点（ICP）或随机采样一致性（RANSAC）。 高层任务逻辑以显式布尔状态机形式编写，规定操作阶段之间的确定性转换，例如接近、对准、抓取和回缩。
当运行环境严格结构化且边界受限（图 3）时，经典方法可以在其建模条件内提供可靠的行为。 在自动化汽车装配线上，工业机器人焊接冲压钢板件，每个工件都以亚毫米级公差精确到达指定坐标。 环境照明受到工业灯具的严格调控，人类工人则被物理互锁安全围栏排除在外。 在 因果边界 所定义的因果边界内，这一受控机制允许显式模型、有界的伺服时序，以及在给定假设下的稳定性分析。 工程师可以验证选定的轨迹与力矩约束，并在无需采集任务演示的情况下，评估控制器软件对适用标准的覆盖情况。
然而，当具身机器离开结构化的工厂围栏、进入非结构化环境运行（图 4）时，这一范式便撞上经典方法的天花板 (Brooks 1991年; Levine 等 2018年)。 物理世界并非一张无菌的 CAD 图纸；它是连续的、可形变的，且变化无穷。
Brooks, Rodney A. 1991年. 《Intelligence without representation》. Artificial Intelligence 47 (1–3): 139～59. https://doi.org/10.1016/0004-3702(91)90053-M.
Levine, Sergey, Peter Pastor, Alex Krizhevsky, Julian Ibarz, 和 Deirdre Quillen. 2018年. 《Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection》. The International Journal of Robotics Research 37 (4-5): 421～36.
第一个失效点是几何组合爆炸。 在一家处理数十万种零售商品的商业物流仓库中，为每个瓶子、包裹和柔性服装手工编写 CAD 模型、网格模板和抓取点都是不可能的。 对重叠、可变形物体离散化取向、摩擦属性和接触排列，会产生手工模板无法覆盖的组合空间。
第二个失效点源于感知脆弱性。 手工制作的边缘与分割流水线可能依赖滤波器、Harris 角点或表面法线阈值。 在光照变化、反射或灰尘条件下，某个必需特征可能消失。 在该流水线中，缺失的边可能使平面分割将两个物体连成一体，并在空处提出抓取方案。
第三种失效是手工编写逻辑的工程瓶颈。 机器的运行能力受限于工程师预见每一个物理边缘情况的能力。 当出现未预期的变化，例如弯曲的支架、磨损的标签或不熟悉的障碍物时，手工编写的规则库中不存在对应的分支，导致机器停机、掉落载荷或发生碰撞。
学到的表示直接回答了前两种失效，并缓解了第三种，因为它们从数据而非手工编写的模型中获取覆盖能力。
学到的表示
当被要求从传送带上取走那个不熟悉的陶瓷杯时，经典流水线需要 CAD 模型、特征阈值，以及一个为这个物体无人编写的状态机分支。 一个在大量可抓取物体上训练出的模型，仅凭像素和一句指令文本，就能提出把手作为抓取区域。 物理人工智能在经典流水线中引入这类神经表示，以弥补人工编写模型覆盖不到的地方；四个支柱支撑着这一转变。
第一个支柱是开放世界语义泛化能力。 经典控制器在几何上精确，但在语义上是盲目的：逆运动学求解器可以娴熟地将末端执行器驱动到坐标 \((x, y, z)\)，然而它对那里是否放着一只结实的杯子还是一只易碎的玻璃杯毫无理解，也对周围物体与人类任务之间的关系一无所知。 现代视觉-语言-动作（VLA）基础模型将开放词表自然语言指令与高分辨率相机流投影到共享语义嵌入中 (Driess 等 2023年; Brohan, Brown, Carbajal, Chebotar, Dabis, 等 2023年; Brohan, Brown, Carbajal, Chebotar, Chen, 等 2023年; Kim 等 2024年)。 当被命令“把台面上的咖啡洒液擦掉，并把杯子放进晾干架”时，一个训练好的模型可能会在没有新 CAD 模型的情况下，将杯柄和洒液边界提议为与任务相关的区域。
Driess, Danny, Fei Xia, Mehdi SM Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, 等. 2023年. 《PaLM-E: An embodied multimodal language model》. International Conference on Machine Learning (ICML), 8469～88.
第二支柱是经验性感知鲁棒性。 手工编写的视觉阈值在光照或纹理变化时可能翻转。 学到的表示在训练与测试覆盖这些变化时可以容忍其中一部分，但在发生偏移时，其响应既不一定平滑，也不一定是有界的。
第三支柱是处理复杂多接触与可变形动力学的能力。 许多物理操作任务（折叠织物、将柔性线束穿过汽车车门总成，或舀取颗粒介质）涉及非光滑接触力学、变化的摩擦以及无穷维形变，无法用闭式微分方程建模。 借助适当的富接触演示与反馈，神经策略可以学会具备顺应意识的响应，从而降低对意外阻力的作用力。
第四根支柱是数据与算力驱动的经验性扩展，即 四条基石定律 将其与机载能量、热量与内存的物理极限相对照的苦涩教训。 在多样化的机器人演示（图 5）与多模态数据上进行训练，可以提升已测试任务上的性能 (Zhao 等 2023年; Chi 等 2024年)。
这些收益各自只在训练与测试数据覆盖运行工况的范围内成立，且没有任何一项约束模型在这些工况之外所提出的内容。 这一限制正是原因：学到的输出到达执行器时，仅仅是一个可能被授权路径拒绝的候选。
Ma, Yingdong, Yifan Song, Ziyuan Cao, Yu Zhang, 等. 2024年. 《A Survey on Vision-Language-Action Models for Embodied AI》. arXiv preprint arXiv:2405.14093.
具身基础模型并非不透明的单体，而是一条三阶段神经流水线（图 6、图 7），它将感官输入转换为候选运动提案，并终止于这些提案仍需运动学校验的边界。
感官摄取与空间分词（输入）： 视觉 Transformer 前端将每台相机的帧切分为固定尺寸像素图块的网格，并将每个图块投影为一个 词元，标注其图像位置；若安装多台相机，则附加学习得到的相机标识。 语言指令与机器人关节状态被投影为相同宽度的 词元，三条流拼接为一条输入序列。 每个图块都成为骨干网络必须对其进行注意力计算的 词元，并由键值（KV）缓存保存，因此配备三台相机（左腕、右腕、俯视）的机器人在任何文本或本体感觉信息到达之前，每帧都会贡献数百个视觉 词元（1.1）。 图像位置并非度量深度；即使将夹爪置于三维空间中，仍需深度证据与标定几何。
多模态对齐与注意力（骨干网络）： 合并后的序列会经过数十层 Transformer，其自注意力将每个 词元 与其余所有 词元 相互加权，因此注意力计算量随序列长度平方增长，而存储先前 词元 状态的 KV 缓存则随其线性增长。 因此，每增加一台相机或保留一帧，都要在延迟与内存流量上付出代价。 同样的成对加权并不能确定几何关系，因此像“handle”这样的文本 词元 可以强烈地关注某个视觉块，但该权重并不构成已验证的抓取位置或度量位姿。 KV 缓存同样无法跟踪物体恒存性；必须依靠显式的状态估计器跨帧关联观测，并在杯子被遮挡期间增大其不确定性。 支撑上述两个阶段的图块嵌入、位置编码与注意力方程见 Visual patch tokenization, attention, and 3D metric lifting。
专用动作解码器（输出）： 最终隐藏层 \(\mathbf{h}_{\text{context}}\) 不再生成对话式文本，而是接入针对特定任务的动作解码器。 视觉-语言导航（VLN）模型输出拓扑路点或航向角速率 \((v_t, \omega_t)\)（图 8），而操作（VLA）模型在如何弥合语义表征与物理运动方面差异显著：
- 离散分类词元化（RT-1、RT-2、OpenVLA）： 早期的视觉—语言—动作模型（VLA）直接将自回归语言建模适配到机器人领域，方法是将每个维度的连续关节偏移或笛卡尔偏移离散化为 \(B = 256\) 个均匀分箱（bins）(Brohan, Brown, Carbajal, Chebotar, Dabis, 等 2023年; Brohan, Brown, Carbajal, Chebotar, Chen, 等 2023年; Kim 等 2024年)： \[\text{bin}(a_k) = \left\lfloor \frac{a_k - a_{\min}}{a_{\max} - a_{\min}} \times 255 \right\rfloor \in [0, 255]\] 每个分箱被分配一个语言词表中的离散 词元（
<act_000>至<act_255>）。 该方案原生地利用了网络规模的视觉-语言预训练，但它引入了系统层面的瓶颈：一个逐次输出单个标量词元的解码器，要完成一次 7-DoF 动作，就需要七次串行词元预测。 其延迟取决于缓存、硬件，以及每次预测是否都要重访完整的骨干网络；七次串行步骤可能错过控制截止时间。 标量分箱的分辨率约为 \(\Delta a = (a_{\max} - a_{\min}) / 256\)；该分辨率是否会产生接触抖动，取决于平滑方式、动作范围以及下游控制器。 - 连续生成式动作分块（Octo，\(\pi_0\)，ACT，Diffusion Policy）： 为避免每次标量动作都要支付一次完整的权重遍历，现代通用策略将 transformer 骨干网络与连续生成式解码器耦合起来，例如扩散策略头 (Chi 等 2024年; Octo Model Team 等 2024年) 或流匹配动作专家 (Black 等 2024年)。 模型不再为每次前向传播预测单个标量，而是预测一整段连续轨迹分块（下式中的 steps 表示步数）： \[\mathbf{A}_{t:t+H-1} = [\mathbf{a}_t, \mathbf{a}_{t+1}, \dots, \mathbf{a}_{t+H-1}] \in \mathbb{R}^{H \times d_a} \quad (H = 16\text{--}64\text{ steps})\] 骨干网络可能评估一次新的相机观测，随后较小的解码器执行若干去噪迭代，以提出一整段航点分块。 该片段是一个候选预测时域，而非一连串新的观测。 下一次主干评估必须在已接受的执行窗口过期之前到来；下游插值与反馈各自以自身的速率运行。
- 离散分类词元化（RT-1、RT-2、OpenVLA）： 早期的视觉—语言—动作模型（VLA）直接将自回归语言建模适配到机器人领域，方法是将每个维度的连续关节偏移或笛卡尔偏移离散化为 \(B = 256\) 个均匀分箱（bins）(Brohan, Brown, Carbajal, Chebotar, Dabis, 等 2023年; Brohan, Brown, Carbajal, Chebotar, Chen, 等 2023年; Kim 等 2024年)： \[\text{bin}(a_k) = \left\lfloor \frac{a_k - a_{\min}}{a_{\max} - a_{\min}} \times 255 \right\rfloor \in [0, 255]\] 每个分箱被分配一个语言词表中的离散 词元（
提案边界（与执行器隔离）： 无论模型是 VLN 移动规划器还是 VLA 操作策略，其输出都是提案边界的非特权一侧的候选提案（\(p_t\)）（提案边界）（）。在 《五层机器》 的机器模型下，基础模型在应用处理器的用户态中运行，无法访问脉宽调制（PWM）寄存器，也无法访问电机线圈中的电流。
这一审议边界 的设计规则是：以 Brain 的推理节奏（\(1\text{--}50\text{ Hz}\)）运行的学习模型提出运动学设定值（\(\mathbf{q}, \dot{\mathbf{q}}, \ddot{\mathbf{q}}\) 或笛卡尔位姿），绝不将未经缓冲的开环电机扭矩（\(\boldsymbol{\tau}\)）直接输出至逆变器开关。 电机扭矩通过经典动力学笔记中 节 1.2 的机械臂方程，以及一个接触项 \(\boldsymbol{\tau}_{\text{contact}}\) 与被控对象耦合。 由于惯性 \(\mathbf{M}(\mathbf{q})\) 与科里奥利力 \(\mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\) 随瞬时关节构型与速度呈非线性变化，若模型误差、摩擦或负载变化足够大，则神经模型以最高数十赫兹的频率更新、且不提供高频反馈时，所发出的开环力矩可能使肢体失稳。 运动学设定值，相比之下，规定了预期的空间路径，并将高增益闭环力矩综合交由 Body 的驱动器完成，其面向磁场的电流环在 \(10\text{--}25\text{ kHz}\) 运行，前提是许可路径已接纳每个设定值。（当专门化的高速率强化学习策略以 \(100\text{--}500\text{ Hz}\) 直接输出力矩时，它们仍然需要一个独立验证的高速率许可路径，正如 不变量检查 所论证的那样；此类力矩流的无源性检查在 Passivity and Energy-Bounded Interaction 中推导。）
Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees Nair, 等. 2024年. 《Octo: An Open-Source Generalist Robot Policy》. arXiv preprint arXiv:2404.08839.
↳ 下游： Brain 与 Nervous System 之间的零拷贝提案传递依赖于 多速率节拍 所分析的无锁缓冲区。
提案通过 神经系统 的移交进入许可路径，许可路径可以在独立的测量、建模出的限制以及可行的回退方案支持该决策时拒绝一个幻觉提案。2
该流水线中的每个神经阶段都要为内存流量买单。 每个 patch 词元 都必须被注意力覆盖并保留在 KV 缓存中，而主干网络的每次评估都要从 DRAM 流式读取其权重，因此本节所述的能力以应用处理器设定的速率而非任务选择的速率到达。 在移动机械臂上，其最大模型的该速率远低于其手臂消耗设定值的速率。
供给、新鲜度与内存墙
在取件工位，移动机械臂的手臂每隔几十毫秒消耗一个新的设定值，而它所抓取的水杯正沿着传送带持续移动。 无论哪个模型提出这些设定值，都必须回答两个问题。 第一，它在机器实际拥有的应用处理器上能多频繁地产出提议；第二，杯子移动后，每个提议能保持多久仍然成立。 答案解释了机器为何携带两个学习得到的提议器，而不是一个。
在摄取（即 节 1.3 中介绍的分词过程）之后，四个阶段将这些词元转化为提议（图 9），第三部分逐一展开它们。 在这里，它们只关乎各自向下游交付什么，以及该交付物多久会失效。 感知将识别结果锚定在相对于基座的度量坐标中，从而使杯子成为一个位姿和一个可抓握的把手，而不是一个标签；3 其输出自捕获时刻起就开始老化，而 传感器感知 将这一老化转化为契约。 记忆承载这些估计值穿过遮挡，并且必须让每个估计值在其支撑证据失效时随之失效（空间记忆）。 意图将“把陶瓷杯从传送带上取下并递给包装站点的同事”这类任务分解为子目标；由于意图模型在审议期间杯子仍在移动，它会向规划器交付一个会过期的目标，即意图租约（意图租约）。 规划将该目标转换为底座与机械臂的候选设定值，即权限路径将加以评判的提议（轨迹规划）。 这些阶段以及它们之前的摄取，都运行在应用处理器上，并共用同一内存总线，而机器的节奏正是在这里决定的。
↳ 下游： 高吞吐神经推理加速器与确定性核心在 同一芯片上的两条路径 中相互隔离。
记忆墙
设想一下，若一台机器人试图通过自回归基础模型（例如一个数十亿参数量的 VLA 模型）逐离散步骤地生成连续动作，会发生什么。 权重无法常驻芯片的模型，必须在每次评估时通过外部 DRAM 总线流式传输一次，因此总线带宽 \(B_{\text{mem}}\) 在 分词、注意力或解码增加任何时间之前，就限制了它的评估速率，上限为 \(f_{\max} = B_{\text{mem}} / M_{\text{weights}}\)。 在单步自回归解码中，每个顺序 词元 都可能需要另一次这样的评估；实际流量取决于缓存与解码器架构。 有关详细的内存墙推导与 roofline 硬件模型，参见 Systems and Hardware。
这条内存墙4将单 词元 流式传输置于 roofline 的内存受限区 图 10 深处。 在移动操作臂的应用处理器上，它限制了意图模型的新鲜评估速率，且发生在任何视觉或解码工作之前，远低于每毫秒请求新指令的关节控制器的速率 1.1。 更新如此缓慢的模型可以说明机械臂应前往何处，却无法对运动中的质量形成闭环，因此它提出航点，而位于其下方的更快循环负责跟踪这些航点。
这种持续的数据搬运同样带来能耗代价。 从片外 DRAM 取回权重所消耗的能耗，比其自身的算术计算高出几个数量级。 该能耗会消耗电池储备，而其在机箱内留下的热量会抬高关节执行器的局部环境温度，从而缩小 热工作占空比 的绕组余量。
动作分块
为在较慢的全模型推理下提供密集的路点，现代物理 AI 策略采用动作分块（1.1）(Zhao 等 2023年; Chi 等 2024年)。 每个分块随后作为一个数据包跨越提议边界，即 多速率节拍 的分块载荷。
分块策略（例如 Action Chunking with Transformers [ACT]、Diffusion Policy 或 Flow Matching）会在一次主干网络前向中生成其整个分块的 \(H\) 个设定值，随后对迭代解码器进行假设的 \(K = 10\text{--}16\) 次精修步骤。 每次精修都会重新评估较小的动作头，因此完整延迟为 \(t_{\text{vision}}+t_{\text{backbone}}+K t_{\text{head}}+t_{\text{transfer}}\)，而不只是一次权重扫描。 新的观测只有在经过另一次主干网络和解码器前向后才会改变计划；生成机制参见 Machine Learning Background。
Definition 1.1: 时序动作分块
时序动作分块 是一种策略表述，它在一次神经评估或扩散展开 中预测整个时窗内的 \(H\) 个未来连续动作 \(\mathbf{A}_{t:t+H-1} = [\mathbf{a}_t, \dots, \mathbf{a}_{t+H-1}]\)，从而在较长的物理执行窗口内摊薄模型参数的内存传输成本。
- 意义：在带宽受限的设备上，为每个动作重复一次完整模型评估，可能慢到无法支撑毫秒级控制。 时序动作分块可以在多个航点之间复用一次骨干网络评估；它并不会让新的观测或策略决策以航点速率到达。 下游控制器在模型更新之间跟踪已接受的轨迹。
- 区别：与那些在每个控制步重新评估完整神经网络的单步马尔可夫策略 \(\mathbf{a}_t \sim \pi(\cdot \mid \mathbf{o}_t)\) 不同，动作分块刻意生成多步前馈轨迹，借助滚动时域执行与重叠分块之间的插值，来调和缓慢的神经推理与快速的闭环控制。
- 常见误区：在无连续时间平滑或运行时安全过滤的情况下，以开环方式执行动作片段。 若重叠片段边界之间缺乏平滑过渡，在各自独立生成的预测地平线之间切换，就会引入加速度跳变和扭矩冲击，从而激发机械变速箱的共振。
例如，当一台标准的双臂操作器穿引一根柔性 USB 线缆（图 5）时，它执行一个 32 步的动作片段，该片段比移动操作器所用的片段更长。 策略输出协调的 14 自由度关节设定值，使两只夹爪平滑对齐、线缆弯曲，并在插入连接器时全程不暂停，无需在单个控制周期之间停顿。
重叠的动作片段会在随时间向前滚动的执行窗口之间融合预测。
然而，动作分块会引入 分块接缝连续性 的问题。 由于每个动作分块都是基于滚动感测观测独立生成的，分块 \(k\) 的尾部与分块 \(k+1\) 的头部之间可能出现轻微的位置与速度差异。 如果控制器直接将这些分块拼接起来，由此产生的加速度阶跃不连续会向物理连杆注入较大的加加速度（ \(\dddot{\mathbf{q}}\) ），从而诱发机械冲击、声学振动、摆线针轮磨损以及电机过流故障。
为降低重叠分块之间的不连续性，系统可以采用 时间维集成 ，通过指数加权平均来融合重叠的轨迹预测：
\[\mathbf{a}_t = \frac{\sum_{i=0}^{\min(t, H-1)} w_i \, \mathbf{a}_{t \mid t-i}}{\sum_{i=0}^{\min(t, H-1)} w_i}, \quad w_i = \exp(-m \cdot i)\]
其中 \(\mathbf{a}_{t \mid t-i}\) 表示由在时间 \(t-i\) 起始的动作分块对时间步 \(t\) 预测出的动作，而 \(m > 0\) 是一个可调的时间折扣因子。 许可路径在提议边界（ 多速率节拍 ）以下插值融合后的航点。 集成平均设定值，但不强制导数连续性，因此接缝仍可能需要@sec-planning-kinodynamic-feasibility 中构建的 \(C^2\) 连续桥接轨迹。
神经推理容量与物理控制延迟之间的这种运行张力，定义了现代机器人脑的中心扩展前沿（图 11）。 在 2020 至 2023 年间，开创性的视觉-语言-动作（VLA） 模型，如 RT-1 (Brohan, Brown, Carbajal, Chebotar, Dabis, 等 2023年)、RT-2 (Brohan, Brown, Carbajal, Chebotar, Chen, 等 2023年) 与 OpenVLA (Kim 等 2024年)，将连续动作离散化为分箱，每个自回归前向传播预测一步动作。 然而，由于每次前向传播都需要通过硅基内存总线从 DRAM 流式传输全部模型参数，策略更新速率随模型容量扩展而急剧下降（\(f_{\text{action}} \propto 1 / M_{\text{weights}}\)），使数十亿参数模型被困于难以逾越的“推理墙”（\(1\text{--}3\,\text{Hz}\)）之后，这一频率远低于动态接触与反应式操作所需的 \(50\,\text{Hz}\) 闭环阈值。
Brohan, Anthony, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, 等. 2023年. 《RT-1: Robotics Transformer for real-world control at scale》. Robotics: Science and Systems (RSS). https://doi.org/10.15607/RSS.2023.XIX.025.
Brohan, Anthony, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, 等. 2023年. 《Rt-2: Vision-language-action models transfer web knowledge to robotic control》. arXiv preprint arXiv:2307.15818.
Kim, Moo Jin, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, 等. 2024年. 《OpenVLA: An open-source vision-language-action model》. arXiv preprint arXiv:2406.09246.
Zhao, Tony Z., Vikash Kumar, Sergey Levine, 和 Chelsea Finn. 2023年. 《Learning fine-grained bimanual manipulation with low-cost hardware》. Robotics: Science and Systems (RSS). https://doi.org/10.15607/RSS.2023.XIX.016.
Chi, Cheng, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, 和 Shuran Song. 2024年. 《Diffusion policy: Visuomotor policy learning via action diffusion》. The International Journal of Robotics Research 44 (10-11): 1684～704. https://doi.org/10.1177/02783649241273668.
Black, Kevin, Homer Walke, Kevin Bishop, Lee Zhang, Albert Fang, Brent Chen, Steven Morad, 等. 2024年. 《\(\pi_0\): A Flow-Matching Foundation Model for Generalist Robots》. arXiv preprint arXiv:2410.24164.
动作分块从根本上将推理与执行频率解耦。 ACT (Zhao 等 2023年)、Diffusion Policy (Chi 等 2024年) 以及现代流匹配基础模型（例如 Physical Intelligence \(\pi_0\) (Black 等 2024年) 与 NVIDIA Project GR00T）不再为每个低级设定值流式传输数十亿参数，而是周期性评估其大型感知主干网络，以生成完整的多步动作轨迹（\(H = 16\text{--}64\)）。 紧凑且高度优化的生成式动作头随后以 \(50\text{--}100\,\text{Hz}\) 的频率对这些轨迹进行去噪或积分求解，突破自回归内存墙，并将数十亿参数语义推理与毫秒级闭环物理控制相协调。
/var/folders/7g/fkg91tq50f58kfmg7c65747r0000gn/T/ipykernel_91846/995367139.py:277: UserWarning: FigureCanvasAgg is non-interactive, and thus cannot be shown
plt.show()机器的两个提案生成者
在移动机械臂自身的应用处理器上，内存墙以及分块所带来的摊还，决定了机器如何在两个模型之间分配提案工作。
Napkin Math 1.1: 内存墙、供给与新鲜度
动作分块能否让部署在嵌入式计算模块上的数十亿参数模型，以与机械臂消耗提案同等的速度刷新提案，还是该机器需要另一个更小的提案模型？
1. 单词元内存瓶颈。 考虑移动操作机器人的意图模型，一个 7B VLA 模型，以 16 位精度（FP16）存储在其应用处理器的 LPDDR5 内存中，一块嵌入式边缘系统级芯片：
- 权重占用：\(M_{\text{weights}} =\) 7B 参数 \(\times\) 2 字节 \(\approx\) 14 GB。
- 理论内存带宽：\(B_{\text{peak}} =\) 204 GB/s。
- 假设持续 DRAM 带宽（占峰值的 70%，用于计入总线调度和内存开销）：\(B_{\text{sustained}} \approx\) 142.8 GB/s。
将权重从 DRAM 经硅总线一次性取回所需的最小流式延迟： \[t_{\text{stream}} = \frac{14 GB}{142.8 GB/s} \approx 98.0 ms\]
当每次评估都流式传输全部权重时，仅按带宽计算的新增评估上界： \[f_{\text{single}} = \frac{1}{t_{\text{stream}}} \approx \frac{1}{0.0980 s} \approx 10.2 Hz\]
除模型权重外，自回归基础模型还会增长其 KV 缓存。 当多相机感知输入（例如 3 \(224 \times 224\) RGB 流）被摄入时，每个视频帧会贡献数百个视觉 patch 词元（3 \(\times\) 256 \(=\) 768 个词元）。 在意图模型的 32 层 Transformer 中，隐藏维度为 \(d =\) 4096，存储 FP16 的 键 与 值 状态每个词元消耗 0.52 MB： \[M_{\text{KV}} = 2 \times L \times d \times S \times \text{bytes} = 2 \times 32 \times 4096 \times S \times 2 \approx 0.52 MB \cdot S\] 在跨越 768 个词元的视觉提示下，KV 缓存每帧扩展 402.7 MB。
2. 动作分块的摊销。 假设意图模型本身在每个前向传播中发出 一个包含 \(H =\) 16 个未来设定值的动作分块（\(\Delta t =\) 20 ms，覆盖 320 ms），而不是每个 DRAM 权重扫描一次一个动作步。
- 权重内存扫描次数：1 次扫描（98.0 ms）。
- 一个分块可复用一次主干评估，覆盖 \(H\) 个未来设定值。
- 每个设定值的摊还权重扫描时间（不含其他全部推理工作）： \[\tau_{\text{step}} = \frac{t_{\text{stream}}}{H} = \frac{98.0 ms}{16\text{ setpoints}} \approx 6.1 ms\text{ per setpoint}\]
3. 机器的任务分工。 摊销将一次扫描分摊到更多设定点上，但它并不会让新的提议更早到达。 意图模型中的每个新片段仍至少需要一次 98.0 ms 扫描，外加分词、注意力与解码。 因此，移动操作机器人将工作分配给两个模型。 其意图模型以 5 Hz 修订目标，推理耗时为 160 ms。 一个独立的 50M-参数分块策略，其 0.10 GB 权重扫描在 0.70 ms 中，在 20 Hz 下共同提出底座速度与机械臂关节目标，推理耗时控制在包含视觉处理在内的 40 ms P99 推理预算之内。 意图模型的扫描过慢，无法每隔几十毫秒更新一次提案；分块策略的扫描则足够快，能够按此频率更新提案。神经系统 将这一差异转化为租约。
在视觉、注意力或解码工作开始之前达到的下限，是 98.0 ms 扫描在 1.1 中的表现。 该机器双模型分工架构的两个替代方案——降低权重精度、以及一个带快速头部的单一模型——都会针对它，但两者都不便宜地消除它。 INT4 存储可将名义权重占用降至 3.5 GB，但接触类任务需要精度验证。 单一模型设计可以转而以降低模型评估频率为代价换取更高的候选航点密度，而无需改变权重精度。 它会周期性评估 7B 主干，同时由片上轻量扩散头对候选轨迹去噪，从而从每个较慢的全模型评估中提供密集候选航点。 其新的观测速率仍受完整推理延迟的限制，包括视觉与解码工作，这正是移动操作臂将动作提案的更新交给独立的分块策略的原因。
保留的上下文会进一步加剧笔记本开始测量的压力。 将语言与本体感觉 词元 连同视觉 patch 一并计入，使每一步达到 \(S \approx\) 800 个 词元，因此，在每 词元 的 FP16 键-值 状态为 0.52 MB 的情况下，每个观测步骤会新增 419.4 MB 的 KV 缓存。 保留一个未剪枝的 5 s 历史上下文窗口，在 10 Hz 下会占用 21.0 GB 的 KV 缓存。 结合意图模型的 14 GB 权重，本例共占用 35.0 GB，尚未计入运行时开销就已约占应用处理器 68.7 GB 的一半，而感知、建图与 chunk 策略同样需要这部分内存。 即便内存容量足够，读取大缓存也会在该同一总线上产生额外流量（共享资源争用）。 因此，具身架构必须避免未剪枝的自回归视觉历史，转而依赖空间池化、交叉注意力特征投影，或固定预测范围的动作分块。
在取物站上，移动机械臂的机械臂从以 0.20 m/s 运行的传送带上取下杯子，每个片段都必须执行，不能让杯子漂出可及范围。 若不做跟踪，传送带的匀速运动会在 测量新鲜度 所述的新鲜度期限 \(e_{\max}/v_{\max}\) 内耗尽抓取容差与手柄估计的初始误差 \(e_0\) 之间的余量 \(r_{\text{tol}} - e_0\)，其中 \(e_{\max} = r_{\text{tol}} - e_0\)。 跟踪杯子的跟踪器消除了这种匀速运动，但残余滑移仍可能以 0.50 m/s² 的加速度加速目标，因此以开环方式执行时长为 \(T\) 的一段会漂移 \(\frac{1}{2} a_{\text{slip}} T^2\)。 叠加到 3 mm 的初始误差 \(e_0\) 上，该漂移在跟踪证据时域 \(\tau_{\text{ev}} = \sqrt{2 (r_{\text{tol}} - e_0) / a_{\text{slip}}} \approx\) 219 ms 之后达到 15 mm 的抓取容差。 该片段策略每 50 ms 重新规划一次，且最多需要 40 ms 才能完成重新规划；因此，当更新按时到达时，机械臂从一次观测中执行的运动不超过 90 ms，仅漂移 2.0 mm，且远小于跟踪证据时域。
该开环跨度同样决定了最小供给量，因为短于 5 设定点的片段会让机械臂等待其后续片段。 机器的 chunk 携带 16 设定值，以 20 ms 的间隔、320 ms 的运动量设定，长于跟踪证据时域；若以开环方式执行至其末端，它会漂移 25.6 mm，超出容差。 因此，超出下一个重规划时刻的设定值构成供给缓冲，仅在续期停止时才被消耗，而 多速率节拍 中推导出的租约会在该缓冲耗尽之前很久便结束执行。 随后，重叠的 chunk 与时间集成将跨越每次续期交接处的已执行运动融合起来。
↳ 下游： 中的有界动作 chunk 提议会在 安全集作为条件许可 中依据前向不变性屏障进行过滤。
这些正是 第一部分 向前移交的提议者限制：一个 chunk 覆盖 320 ms 的运动量，生成一个新 chunk 最多需要 40 ms，其背后的证据在约 219 ms 内保持容差内。 它们界定了提议何时到达以及其保持成立的时间长度，并各自以 测量机器自身的极限 形式的限制记录写入 神经系统 的移交记录中。 它们都没有说明该提议在提出时是否正确。
Checkpoint 1.1: 边缘 SoC 推理限制：内存墙、KV 缓存与动态漂移
在分析运行时失效模式之前，先验证你对边缘推理限制（跨内存与时间）的理解：
认知脆弱性
移动机械臂策略为杯子提出的一个动作块，可能落在其 40 ms 预算之内，每个设定值都是有限的且处于关节限位之内，却仍然会在杯沿上合拢夹爪。 它的时序是可靠的，而内容并非如此；学习模型的失效模式正存在于这一缺口之中。 学习得到的基础模型扩展了任务覆盖范围，却使闭环行为的整体性证明变得困难；而指定组件与有界运行区域仍然可以进行分析。5
若无经验证的输入域与灵敏度界，对已学习提案者的微小感知变化，可能带来出乎意料的大幅运动变化。 基准测试的成功并不能确立闭环稳定性、时序界限，以及对未见条件的安全性；这些性质需要针对模型、运行时和物理装置分别提供独立证据。6
学习式提议者的失效模式与传统软件缺陷也有所不同。 一个经典程序会以抛出异常、陷入无限循环或崩溃的方式失败。 神经网络则会静默失败，就像前述针对杯子的动作块一样，其输出通过了所有格式检查。 一条独立的权限路径必须在这些数值变成执行器指令之前，先拒绝已检测到的违规。 系统架构师必须围绕四项主要认知脆弱性展开设计。
语义幻觉
传送带后方的纸箱上印有一张马克杯的照片，而移动操作臂的策略却建议在印刷的把手上抓取。 轨迹张量是有限的，并且处于关节限位之内，然而它所指向的物体并不存在。 其合理性不能替代独立的几何校验，后者会在策略看到把手的地方发现一个平面。
Softmax 幻觉与分布外过度自信
部署接口常常把数学归一化与物理概率混为一谈。 在深度神经网络中，输出 logits 经过 softmax 函数7，其输出无论输入为何都求和为一，因此遭遇分布外（OOD）观测（新颖的光学纹理、深层阴影或镜头水珠）的具身机器，可能给错误分类赋予超过 \(0.95\) 的置信度。
评估报告模型置信度与实证物理成功之间的真实关系，需要测量 期望校准误差（ECE），即模型自认为确信的程度与物理任务实际成功频率之间的差距。8
表 1 所示的各工况表明，在分布偏移下，报告出的置信度可以很高，而任务成功率却很低。 单行差异是置信度与成功率的差距，而非 ECE；计算 ECE 需要在指定的评测集上划分分箱。 原始分数不能在没有验证和独立物理检查的情况下授予执行权限。
| 分布偏移区 | 物理与环境触发 | 置信度与成功 (\(\text{conf} \text{ vs } \text{success}\)) | 置信度–成功差距 (\(\text{conf}-\text{acc}\)) | 下游监督动作 |
|---|---|---|---|---|
| 分布内（标称基线） | 洁净的光学系统、结构化的实验室照明、标称工件纹理 | \(\text{conf}=0.91, \, \text{acc}=0.89\) | \(+0.02\) | 在标称执行前施加独立限制 |
| 近 OOD 偏移（协变量偏移） | 镜面反射、镜头水珠、动态阴影过渡 | \(\text{conf}=0.89, \, \text{acc}=0.52\) | \(+0.37\) | 选择性拒答已触发：钳制速度，启动探索性触觉探测 |
| 远 OOD 偏移（语义偏移） | 未编目的可变形障碍物、人体肢体侵入工作区 | \(\text{conf}=0.78, \, \text{acc}=0.08\) | \(+0.70\) | 驳回提议；采用可行的受控响应 |
| 传感器退化（硬件漂移） | 光电探测器热噪声（\(>75^\circ\text{C}\)）、由振动引起的焦面模糊 | \(\text{conf}=0.84, \, \text{acc}=0.31\) | \(+0.53\) | 触发运行降级；将运动学限制在已认证范围内 |
感知抖动与协变量漂移
模糊图像可使连续的目标分类迅速改变。 如果运动规划器将每个新标签视为全新的物理状态，它可能会丢弃有用的运动历史，正如 Tempe 碰撞中的每次重新分类那样。当边界失效时 在物理操作场景中，感知抖动会向轨迹规划器注入高频方向反转，而方向反转指令会造成传动系统必须承受的扭矩阶跃，引发损坏齿轮箱的振荡。 时间平滑有助于运动连续性，但它无法修复错误的障碍物估计；独立的检测与可行的响应仍然是必需的。
意图的时间失效
一个提案仅在支撑它的证据仍然成立时有效，传送带取放示例将其计算为证据时域 \(\tau_{\text{ev}}\)。 若移动操作机器人的意图模型需要 160 ms 进行推理，那么当计划就绪时，通道中的人员与手推车、机械臂本身以及传送带上的杯子都已经移动。 下游通信延迟或执行延迟会导致依据过期的意图租约 意图租约 行动，即依据过时的心理表征指挥物理身体。 一个完全卡住的提议者会让被控物理系统在没有任何计划的情况下继续运动，因此恢复能力必须存在于其下方的本地控制器中，这是 2015 年 DARPA 机器人挑战赛决赛通过有意降级通信对足式参赛队伍提出的要求 (Krotkov 等 2017年)。
Krotkov, Eric, David Hackett, Lawrence Jackel, Michael Perschbacher, James Pippine, Craig Strauss, Gill Pratt, 和 Charles Orillat. 2017年. 《The DARPA Robotics Challenge Finals: Results and Perspectives》. The DARPA Robotics Challenge Finals: Humanoid Robots To The Rescue, Springer Tracts in Advanced Robotics, 卷 121: 1～26.
这四项脆弱性，加上 节 1.4 所代表的内存墙，构成了三条相互独立的理由，反对授予学习式提议者执行器权威。 内存墙意味着最强大的模型无法像机器消耗提案那样快地更新提案。 幻觉、过度自信与抖动意味着，即使其报告的置信度仍然很高，提案也可能是错误的或不稳定的，因此置信度无法为其提供认证。 失效意味着，即使是一个正确的提议，一旦世界已经演化，它就不再正确。表 2 将学到的提议者的局限与本章开篇所讨论的经典方法并列，并展示每种能力各自位于提议边界的哪一侧。
| 系统维度 | 经典分析方法 | 学到的基础模型 | 物理人工智能架构综合 |
|---|---|---|---|
| 基础原则 | 分析微分方程、几何、CAD 模型、李雅普诺夫稳定性 | 高容量神经表示，拟合于经验多模态数据 | 混合层级： 经许可路径门控的学习意图提议 |
| 泛化性与感知 | 依赖模型： 显式几何与特征在分布偏移下可能失去覆盖 | 依赖数据： 开放词表语义与感知对象的对应可改善覆盖，但在分布偏移下可能失效 | 非特权式推理： 基础模型综合出连续的语义目标 |
| 数学可验证性 | 条件性： 选定属性可在模型假设内得到证明 | 有限性： 经验行为需要独立的界与运行时证据 | 提案边界： 门控检查借助独立证据检验建模出的极限 |
| 时序节奏 | 硬实时： 确定性毫秒执行循环（\(1\text{ kHz}\)） | 多速率： 完整推理、分块刷新与航点执行具有不同的速率 | 分离式提议器： 一个小片段策略负责更新动作片段，同时意图模型负责修订目标 |
| 失效模式与回退： | 布尔分支崩溃；未登记对象上的失败；规则耗尽 | 语义幻觉；分布外过度自信；意图过期 | 条件性回退： 拒绝检测到的违规，并执行一个可行的响应 |
谬误与陷阱
学习得到的能力只有在机器能够解释并约束其提案时才有用。 以下错误将模型的成效、置信度或输出格式混淆为采取行动的许可。
谬误：工程团队必须在形式化的经典安全性证明与学习得到的经验能力之间完全二选一。
装配厂将经典线束控制器与学到的扩散策略进行比较。 经典设计明确暴露了运动约束，但在电缆变形方面存在困难；学到的策略完成了 96% 的试验插接，却没有建立最坏情况下的力或速度界限。 这些优点对应着不同的工程义务。 学到的策略可以提出自适应运动，同时由确定性监督器依据物理极限对其进行校验，采用控制障碍函数，只要其假设成立 (Ames 等 2019年)（详见 安全执行）。 将能力与约束强制落实分离，使团队可以分别评估任务性能和保护机制。 较高的经验成功率并不能确立监督器的充分性，也不能确立集成机器本身的安全性。
Ames, Aaron D, Samuel Coogan, Magnus Egerstedt, Gennaro Notomista, Koushil Sreenath, 和 Paulo Tabuada. 2019年. 《Control barrier functions: Theory and applications》. European Control Conference (ECC), 3420～31.
陷阱：允许神经模型的高置信度绕过确定性几何边界。
洁净室机械臂将透明屏障上的反光误认为开放空间，并建议在携带试剂瓶的同时穿过它。 该提议包含有限的、在范围内的坐标，并在其截止时间前到达。 这些检查确立了该数据包是可用的，而非其场景解释是正确的。 高置信度无法解决产生该轨迹的同一感知错误。 在授予许可之前，许可路径必须将该提议与独立维护的几何边界（例如硬编码的禁入区或实时深度图）进行比较。
谬误：原始 softmax 概率或预测的置信度分数反映了真实的物理成功率。
一个分拣策略为一组抓取报告了 \(\hat{p} \approx 0.90\)，但 100 次物理尝试中仅 64 次成功。 因此，基于所报告分数设定的放弃阈值会接受比其数值所暗示的更多的失败。 该差异涉及校准：置信度尚未与运行条件下的实际成功率相符（如 表 1 所示）。 它本身并不能确立该策略是否正确地对候选项排序。 工程师必须在预定域内验证分数与结果之间的关系，之后才能利用置信度在执行、再次观察和人工协助之间作出选择。 独立物理极限仍然适用于已接受的抓取。
陷阱：将高频语义分类直接耦合到电机设定值，而不进行连续滤波。
一台配送机器人观察到交通锥上覆盖着反光篷布。 在每一次感知更新时，其流水线会在障碍物、可移动篷布和自由路径三者之间改变分类。 如果每次变化都立即重置电机设定值，场景中的不确定性就会转化为反复的运动方向反转请求。 当这些请求超出驱动电机的力矩变化率极限时，电机便无法跟踪这些请求，底盘随之抖动和震颤。 架构需要在不断变化的解释与物理指令之间保持连续性。 滤波或动作分块可以支撑这种连续性，但当语义估计发生变化时，由此产生的轨迹仍须遵守机体的运动极限。
谬误：一个数值上有效且平滑的动作分块，在其到来时都可以安全执行。
移动操作臂的分块策略提出了一条朝向传送带上杯子的臂部轨迹。 主机调度延迟了交付，而残余的皮带打滑已将杯子带向抓取容差的边缘。 轨迹依然平滑且在数值上有效，但支撑它的观测已不再描述杯子所在之处。 执行它可能会夹住边缘，或把杯子从传送带上撞落。 一旦延迟超过了 多速率节拍 的 动作分块租约，租约便终止停滞策略的授权，机械臂转而进入其经校验的备用停止状态，而不是继续等待；而当延迟后的轨迹最终到达时，它所依据的观察已陈旧到权限路径无法接纳。 平滑性描述的是所提出的指令；时序有效性则决定机器是否仍可据此行动。
摘要
学到的表示赋予了移动操作臂手工构建的几何描述无法提供的东西，即找到一只从未见过的杯子的把手的能力。 代价体现在内存流量和时间上。 最大的模型评估得最少，而任一提议器提供的每个设定值都会随产生它的观测一同老化。
要点回顾: 学到的提议器及其推理限额
- 权重流量限定了模型获取观测的频率上限：意图模型 14 GB 的权重只需一次扫描，就要在应用处理器上消耗 98.0 ms 的时间，而视觉或解码尚未开始，因此其新鲜评估率不可能超过约 10.2 Hz，无论其计算峰值有多高。
- 分块放大的是供给量，而非新鲜度：一个16设定值的分块将一次评估分摊到320 ms的运动中，但每个设定值都与其背后的观测一样旧。 因此，机器以 20 Hz 的频率、在 40 ms 的延迟上限内，为小型 chunk 策略提供续期。
- 在饥饿与漂移之间权衡分块大小：重新规划周期加上推理延迟（90 ms）决定了最低供给量，而目标漂移则决定了证据窗口（219 ms）。 超出下一次续期的设定值是一种缓冲，而非计划，租约到期即结束。
- 保留的上下文需要支付两遍：保留 5 s 的多摄像头历史，需要额外占用 21.0 GB 的键值缓存，加上权重，大约占处理器内存的一半，而每次读取它都会在实时传输共享的总线上产生流量。
- 置信度不等于校准：Softmax 分数按构造求和为一，因此报告出的置信度可以保持很高，而分布偏移下任务成功率却会崩塌。 只有在运行域内经过测量的校准才能为放弃阈值提供依据。
- 一个提议只在一段时间内成立：意图和动作分块会随其支撑证据的失效而失效，因此即使提议平滑、在范围内且准时，仍可能已经陈旧或错误。
本章推导出的每个限制，都是供给或真值的限制，而非权限的限制。 它们都不决定一个提议能否进入电机；权限路径在作出该决定时，将这些限制作为输入接收。
脚注
刚体动力学建模: 经典控制通过标准机械臂方程 \(\mathbf{M}(\mathbf{q})\ddot{\mathbf{q}} + \mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\dot{\mathbf{q}} + \mathbf{g}(\mathbf{q}) = \boldsymbol{\tau}\) 计算广义力矩，其中 \(\mathbf{M}(\mathbf{q})\) 表示正定惯性矩阵，\(\mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\) 捕捉科氏力与向心力项，\(\mathbf{g}(\mathbf{q})\) 反映重力载荷。 当机器与未建模的摩擦接触、流体阻力或可变形物体相互作用时，该解析建模在计算上不可行且物理上不准确。 推导见 Control and Dynamics。↩︎
提案边界：将神经策略视为非特权提案生成器，从而将随机推理与执行器寄存器隔离开来。 候选轨迹设定值 \(\mathbf{q}_{\text{ref}}(t)\) 在专用安全硬件上进行检查，因此违反建模后的执行器限位或禁入区域的提议可在任何一条进入驱动环节（执行权限）之前被拒绝。↩︎
度量空间定位（、）：无身体 AI 在离散语义词元上运行，而物理 AI 必须将这些语义锚定到 Special Euclidean group\(SE(3)\)，将实体映射为度量距离（米）以及相对于机器人基坐标系的姿态（四元数）。 未能维持这种度量定位，会导致神经网络策略输出运动学上不可行的笛卡尔路径，从而突破执行器工作空间边界。↩︎
自回归 DRAM 带宽饱和: 当权重未驻留且解码器重新访问骨干网络时，顺序动作词元可能触发反复的全模型权重传输；缓存行为与硬件决定了实际的带宽上限。 动作分块是减少单位物理时间内全策略评估次数的一种方法。↩︎
联结主义与符号主义的二元性: 物理 AI 架构将统计联结主义与确定性符号计算相协调：高容量神经网络综合开放世界行为提案，而形式符号逻辑与不变量监控器在设定值获得执行授权之前验证运动学有效性。↩︎
Lipschitz 连续性在神经策略中：尽管具有平滑激活函数的神经网络在紧集定义域上是连续的，仍需在给定的运行域上建立界 \(L = \sup_{\mathbf{x}_1 \ne \mathbf{x}_2} \frac{\lVert \pi(\mathbf{x}_1) - \pi(\mathbf{x}_2) \rVert}{\lVert \mathbf{x}_1 - \mathbf{x}_2 \rVert}\)。 若存在有效的界，则传感器误差 \(\lVert \delta \mathbf{x} \rVert \le \epsilon\) 蕴含 \(\lVert \delta \mathbf{a} \rVert \le L\epsilon\)；未经验证的 \(L\) 不提供可用的动作误差保证。 数学形式化表述见 Machine Learning Background。↩︎
Softmax 归一化与认识论不确定性：softmax 算子 \(\sigma(\mathbf{z})_i = \frac{e^{z_i}}{\sum_j e^{z_j}}\) 通过代数构造而非贝叶斯认识论置信度，在分类单纯形 \(\Delta^K\) 上强制归一化。 高输出置信度仅反映 logit 的相对分离度，意味着模型即使评估完全位于训练分布之外的输入，也会赋予接近 1 的概率。 推导见 Machine Learning Background。↩︎
期望校准误差的数学表述: 将预测置信度划分为若干区间（bins）。 在每个分箱中，比较观测到的成功频率与平均报告置信度；按分箱所占样本份额加权平均绝对差值。 较高的 ECE 表明，报告置信度不是授予物理许可的可靠依据。 方程与分箱定义见 Softmax overconfidence and calibration error。↩︎