模型原则
第一部分围绕单次调用,研究每个智能体赖以构建的核心组件——基础模型;本书其余部分正是以这种调用为基准衡量 H·S·A 暴露程度。一次调用执行一个轮次,调用之间不保留任何内容,也不持有任何环境隐含权限,因此不会增加这三类暴露中的任何一类。它返回的是一个提案,而提案在运行时接纳之前不会改变任何事物(原则 不变闭包原则)。因此,第一部分明确了后续各部分必须治理的对象。基座模型 剖析单次调用:限定其边界的词元和上下文窗口、使其具有非确定性的采样、运行时借以提供工具并读取停止原因的调用接口,以及一次调用和一条调用轨迹的成本。测试时计算 以这些成本为基础,探讨何时通过更长的推理、更多候选方案或多轮检查与修订,在一次决策上投入更多推理计算,能够增强运行时最终接纳的提案背后的证据。第一条原则刻画单个提案的成本。
Principle 1: 输出受限延迟
推论:运行时通过调用的输出来控制其延迟:设计用更少词元表达同一动作的接口,设置输出上限以终止失控生成,以及通过流式验证尽早取消注定失败的生成。输出长度并不是控制整条轨迹成本的杠杆,因为每个轮次重新发送的上下文占据了所处理词元的绝大部分;此时的杠杆是让上下文仅以追加方式增长,使服务系统能够复用其前缀。
输出受限延迟刻画的是一个完整生成的提案的成本。调用也可能因达到输出上限、被取消或连接中断而提前停止,此时返回的是片段,而非提案。基座模型 将调用的所有结果归入一个封闭的状态集合,并给出约束这些状态的规则,即隔离不变量(原则 隔离不变量):只有正常完成的调用,其结果才可进入验证或分发环节。测试时计算通过更长的推理、更多候选方案或检查反馈,换取更多完整生成的提案;问题随之变为,这些额外投入何时值得。
Principle 2: 证据约束的审慎推理
推论:运行时应优先将计算资源分配给利用模型外部检查的策略,将生成、验证和工具成本纳入同一本账目并设置硬性上限,在边际收益低于边际成本时停止,并在相同预算下,以单候选方案基线评估每一种测试时策略。
候选方案能否算作证据,取决于评判它的检查,而不同检查在成本和所能确立的结论方面存在显著差异。
Principle 3: 验证的不对称性
推论:搜索的扩展只能限于可靠检查所界定的范围。学习型验证器可以对候选方案排序以引导搜索,但提交关卡必须是一项确定性检查,其覆盖范围应与任务完成标准相匹配,并且应在智能体无法修改的位置编写和保存。如果任务的完成标准无法以机械化形式表达,就不能自主验收该任务;让另一个模型担任裁判,也无法提供这样的标准。
这些原则共同确立了本书其余部分所围绕的基础。一次调用产生一个未经验证、具有非确定性的提案,其延迟由生成的内容决定,且只有调用完成时该提案才有效;更多推理计算只有在带来证据时才有帮助;只有智能体无法访问的确定性检查才能验收结果。基座模型 确立第一点,提出防止将未完成调用视为提案的隔离不变量,并说明模型为何不能检查自身;测试时计算 则通过选择、验证和停止机制展开第二点与第三点。后续各部分都围绕模型构建机制,以补足单次调用所欠缺的能力,首先讨论轨迹在运行超过一个轮次后必须携带的状态。