轨迹学习原则

第二至第四部分围绕固定模型构建了闭环，智能体评估 则在第四部分结尾衡量了其成效：智能体完成了哪些任务、完成得有多可靠，以及每次失败由哪一层引起。第五部分首次改变模型本身，但不改变 H·S·A 三项暴露中的任何一项。重新训练后的策略仍在相同的时域内运行、携带相同的状态，并且仍不具有任何环境隐含权限，因此第二至第四部分的所有边界、日志和门控仍然有效。训练能够改变的是模型提出的方案通过这些门控的频率。对于单个智能体而言，更改权重也是干预阶梯的最后一级（干预阶梯），比对上下文、工具或运行时的任何修复都更慢、成本更高，也更难撤销。因此，只有在尝试这些修复后，事件取证复盘 的归因分析仍将失败追溯到策略时，才会采用这一干预。为升级干预提供依据的评估机制也提供了训练信号。其验证器接受的轨迹成为训练数据，其发布门控则决定训练后的模型是否替换正在服务的模型。

Principle 16: 经验证的轨迹后训练

不变量：更改模型权重是智能体系统中最慢、最难撤销的干预方式，而且只能修复在排除上下文缺失、工具模式歧义和运行时故障后仍然存在的失败。对于这些失败，训练信号是由模型外部的确定性检查所接受的多轮轨迹，其中也包括从错误中恢复的轨迹，因为只见过无差错路径的策略会随着时域增长而累积错误。完整论述见 能力差距诊断 和 恢复示范筛选。

推论：数据筛选流水线在任何训练运行之前对每次失败进行分流，仅依据模型外部产生的证据接纳轨迹，并在语料库中同时保留恢复轨迹和无差错轨迹。

轨迹一旦被接纳，损失就必须针对策略实际会写出的词元。

Principle 17: 观测损失掩码

不变量：在序列化轨迹中，观测词元由环境写入，而非由策略写入。训练模型预测这些词元，会将模型容量耗费在模仿工具上，并教会模型自行写出观测，而不是将当前轮次交还给运行时。完整论述见 观测损失掩码。

推论：训练损失仅覆盖策略运行时会输出的词元，即其动作、将控制权交还给运行时的轮次结束词元，以及部署需要时的推理内容。提示和观测保留在上下文中，但不计入损失；在轮次结束词元之前被截断的轮次则予以掩码处理或丢弃。

监督训练模仿已经通过检查的轨迹。强化学习则更进一步，让策略以检查本身为依据展开搜索。

Principle 18: 基于隔离验证器的强化学习

不变量：强化学习将奖励检查转化为优化目标。策略会学会检查所奖励的一切，包括任何能够触及并修改检查的途径；而检查未测试的内容，策略则无从学会。此外，除非策略已经在部分尝试中成功、在另一些尝试中失败，否则梯度也会消失。完整论述见 为什么要从奖励中学习 和 隔离验证器。

推论：强化学习流水线在隔离环境中运行验证器，该环境仅接收策略输出的产物；使用奖励机制从未接触过的留出测试来评判训练后的策略；并从通过率大于零的监督训练策略出发。

这三章构成一条流水线，每一章都使用前一章的产出。轨迹整理 对失败进行分流，将相应任务重建为可重置的测试夹具，并通过智能体无法触及的级联检查接纳轨迹，将其分为由无差错轨迹和恢复轨迹组成的监督训练混合集，以及单独的困难负例池。轨迹微调 通过模仿在监督训练混合集上进行训练，损失针对策略自身的词元。可验证奖励强化学习 从该微调策略出发，依赖其非零通过率，并在示范未能覆盖的情形中，依据隔离验证器进行优化。三者都依赖验证不对称性（原则 3）：这一特性使得对每条轨迹运行一项明确规定的检查在成本上可行，而该检查的健全性则构成训练所能学到内容的上限。权重改变的是方案通过检查的可能性，绝不改变执行该方案的权限。第六部分将由此得到的智能体从单条轨迹扩展到多条轨迹。