术语表

本术语表定义了《智能体机器学习系统》全书使用的关键术语。术语按字母顺序排列。

A

验收通过的任务: 最终环境状态在任务要求的闭环证据级别上通过任务完成标准，且始终未超出其契约规定的任何预算上限的轨迹。它是智能体评估中统计成功次数、智能体经济性分析中核算成本的单位。
准入级联: 已记录的轨迹在进入训练集之前必须通过的一系列检查，按成本从低到高排列。低成本的静态检查先运行，使高成本的封闭测试仅对仍有可能通过的候选轨迹运行。
智能体运行框架: 负责单条轨迹的智能体循环的运行时组件。它组装每次模型调用，解释回复，决定是否以及何时派发每个提议的工具调用，并维护轨迹记录，使循环外部的组件能够通过该记录检查、暂停、约束或停止轨迹。
智能体机器学习系统: 一种闭环系统，其中基础模型为实现受委托的目标而提出动作，确定性的运行时则决定每次调用可见的内容、哪些提议生效，以及哪些证据足以判定任务完成。
智能体检索: 一种检索方式，其中模型逐轮通过工具发起搜索、读取和查找调用，而不是接收在调用前预先准备好的一组文本段落。它以额外轮次为代价，换取随任务进展而选择的证据。
审批关卡: 运行框架中的一种机制，将不可逆的工具调用暂缓派发，直至获授权的审核者批准。另见托管。

B

基准污染: 评估任务或其解答与模型训练数据之间存在重叠，导致测得的成功率虚高，却不能反映模型处理未见任务的能力。规范的数据集划分与去污染措施使训练数据与评估任务保持分离。
best-of-\(n\) 采样: 针对一次决策抽取 \(n\) 个相互独立的候选项，再通过验证器、评判器或投票选出一个。其上限为 pass@\(k\)，其中 \(k = n\)；只有当正确候选项存在时总能选中它的选择器，才能达到这一上限。
黑板拓扑: 一种没有协调者的多智能体协同模式，其中工作智能体读写共享的产物存储，认领输入已就绪的子任务，并发布结果。
影响范围: 一个动作能够读取、修改或发送到其沙箱之外的状态集合，由运行时的强制执行机制确定，而非由要求模型执行的内容确定。
预算预留: 在子智能体或长时间运行的调用启动之前，从父任务剩余预算中划出的一笔额度，以确保并发消耗预算的各方合计不会超出父任务的上限。子任务结束时，未使用的预留额度返还给父任务。

C

调用接口: 单次模型调用中具有明确类型的请求与响应：运行时发送的消息、工具定义和限制，以及模型服务返回的提议、停止原因和 token 用量。
取消上下文树: 运行时对各智能体派生关系的记录，其中每个智能体都携带取消状态，以及不晚于其父智能体截止时间的截止时间；取消一个节点会取消其所有后代节点。
权能: 由运行时签名的不可伪造令牌，指定动作可以行使的权限、可以接触的对象、约束其参数与成本的谓词，以及有效期，记作 \(C = (R, O, P, E)\)。沙箱在每次访问时都会检查该权能。
检查点: 对轨迹日志无法以低成本重建的状态（例如工作区）所做的持久快照，并与其对应的日志位置绑定，使恢复执行时无需从头重放。
分块预填充: 一种模型服务技术，将长提示或观测拆分为固定大小的块，并在每个步骤中处理一个块，同时执行正在进行的解码，从而避免一次大规模预填充阻塞服务器上的所有其他轨迹。
熔断器: 工具网关中的一种机制：当某个依赖项的传输层故障超过阈值时，停止向其派发调用，以具有明确类型的观测立即响应后续调用，并在冷却期后再次探测该依赖项。它可防止模型对发生故障的服务放大重试流量。
闭环完成的证据等级: 用于证明任务结果正确的各类证据，按等级依次为：模型的自我报告、静态检查、可见测试、封存测试和形式化证明。H·S·A 暴露程度越高，所需的证据等级就越高。
完全中介: 一种不变性要求：模型提出的每一次工具调用，都必须在任何效果作用于环境之前，通过运行时的验证与授权检查；每一个结果也都必须先经过运行时，才能进入模型的上下文。
上下文压缩: 将轨迹中暂存的历史转换为更少的词元，同时逐字保留后续行动所依赖的每一个标识符、路径、失败记录和约束。
上下文工程: 一种运行时实践，负责决定轨迹中每次模型调用时，哪些内容进入模型的上下文，以何种布局和形式呈现，以及每一项暂存内容在多长时间内保持有效。
上下文投毒: 一种失效现象：错误假设或虚假结果一旦进入轨迹的上下文，就会成为后续提议的前提，因为后续每一次调用都以历史为条件。
协同开销: 多智能体设计在交接、重复上下文、汇合点等待以及协调相互冲突的工作上耗费的时间和词元。它随智能体数量的增加而增长，可能使规模较大的集群比规模较小的集群更慢。
凭据代理: 由代理在实际使用时为出站请求附加限定权限范围的短期凭据，从而使长期有效的秘密信息不进入沙箱和模型上下文。

D

DAgger（数据集聚合）: 一种模仿学习方法：运行当前策略，由专家或验证器为该策略实际访问的状态提供标注，再将这些标注加入训练数据，从而限制纯模仿学习中误差的累积。
解码: 模型调用中逐个词元生成输出的阶段。对于单个生成流，每一步都读取模型的全部权重以生成一个词元，因此解码受内存带宽限制，其延迟随输出长度增加而增长。
蒸馏: 训练模型，使其复现此前需要额外上下文或更大模型才能产生的行为。上下文蒸馏将指令从提示转移到权重中；教师蒸馏则使用较大模型的轨迹来训练较小模型。

E

暂扣: 智能体运行框架暂时扣留所提议的不可逆工具调用，不予发送，直到获得授权的审核者批准。被扣留的调用带有到期时间，发送前会依据记录的前置条件重新检查；若被拒绝、到期或已失效，则以拒绝执行的观测替代该调用。本书仅在这一含义上使用此术语。
暴露偏差: 使用专家历史训练策略与让策略独立运行之间的不匹配：早期的一次错误会使策略进入训练数据从未覆盖的状态，误差随后在整个决策时域内不断累积。

F

貌似合理的失效模型: 智能体循环中模型的一种故障模型：其输出通过所有语法检查，且正常退出，却违反任务的实际要求。与失效即停止的组件不同，它不会在自身能力边界处停下；与拜占庭对手不同，它没有主观意图。
固定工作流: 一种程序，其步骤、分支和工具调用均由预先编写的代码决定，个别步骤中可能包含模型。只要任务的步骤能够枚举，这就是合适的设计。

G

语法约束解码: 一种解码方法，通过将其他所有词元的 logits 设为 \(-\infty\)，把每一步采样限制为形式语法在当前状态下允许的词元。它保证输出能够被解析，但不对输出的含义作任何保证。
授权决定: 运行时针对每次调用作出的决定：在会话明确持有的权限下，某个工具现在是否可以使用这些参数运行。该决定依据运行时自身的工具描述作出，而非依据工具服务器宣称的任何信息。
组相对策略优化（GRPO）: 一种用于强化学习的策略梯度方法：相对于同一提示下的其他响应，为每个采样响应评分，并使用组内均值和离散程度替代学习得到的价值模型。

H

H·S·A 风险暴露: 智能体任务可能出现、而单次模型调用不会出现的三类失败方式：跨度（Horizon，\(H\)，即轮次数）、状态（State，\(S_0\) 至 \(S_3\)，即任务在轮次之间携带的内容）和权限（Authority，\(A_0\) 至 \(A_3\)，即任务可以对外部世界执行的操作）。闭合是运行时对这三类风险暴露的应对，而非第四类风险暴露。
异构不变量门控协同: 一种多智能体协作规范：由不同模型家族或提示生成候选方案并排序，再由任何智能体都无法修改的确定性检查决定提交哪个候选方案。

I

幂等键: 运行时根据轨迹中的逻辑调用生成并附加到会改变状态的工具调用上的标识符，使端点能够识别重复调用并返回已存储的结果，而非再次执行。
幂等操作: 一种工具调用，重复执行后环境所处的状态与仅执行一次相同，\(f(f(s)) = f(s)\)，因此在结果不明确的超时后重新发送该调用不会重复产生效果。
间接提示注入: 嵌入智能体所读取内容中的指令，例如网页、电子邮件、议题或工具结果中的指令，会引导模型后续提出的方案。模型侧的防御措施可降低其发生概率；只有模型下层的强制执行机制才能限制其损害范围。
干预阶梯: 针对已测得的智能体失败，按成本从最低且最易撤销到最高排列的修复措施顺序：固定工作流，然后依次是上下文、工具、运行时、监督微调、强化学习以及增加智能体。只有在失败已被测量并归因于下一层时，才向上迈进一层。
不变量闭合原则: 这一原则要求：智能体的安全边界和资源限制必须由模型下层的运行时以机械方式强制执行，任务正确性则必须依据在模型上层的端到端边界处收集的证据来确立，绝不能依赖模型自身的遵从行为或自我报告。
隔离包络: 围绕智能体操作所运行代码的强制执行边界，由该代码与宿主共享的内容（内核、内存、文件、网络）界定，并由代码无法修改的层强制执行。共享内核容器、用户态内核、微型虚拟机和字节码沙箱是常见的隔离包络。

J

作业句柄: 运行时启动长时间运行的工具时，在同一轮内返回的回执，使运行框架的工作进程得以释放，并在作业结果到达时恢复轨迹执行，而无需阻塞等待结果。

K

KV 缓存: 模型为上下文中每个 token 计算并保留的键和值，使每个新 token 都能关注先前的 token，而无需重新计算它们。其大小随上下文长度线性增长；只要轨迹仍处于活动状态，它就必须保留在服务内存中，除非被逐出并在之后重新计算。

L

LLM 评判器: 一种通用大语言模型，通过提示接收任务及一个或多个候选方案，并被要求对其评分或比较。在不存在机械检查的情况下，评判器很有用，但带有可测量的偏差；在信任其评分之前，必须以验证器为参照进行校准。

M

模型上下文协议（MCP）: 一种协议，工具服务器通过它向智能体运行时公布工具及其模式，并接收调用。通过该协议发现工具并不意味着获得使用该工具的授权；授权来自运行时的权限授予。
模型级联: 一种路由设计，将每次调用发送给可能胜任该调用且成本最低的模型，并在结果未通过检查时升级到能力更强的模型。
模型驱动循环: 一种设计：模型在读取每次结果后，从允许的集合中选择下一步操作，并决定何时停止，因此同一任务的两次运行可能走不同的路径。只有在任务路径无法穷举且结果可以检查时，才有理由采用这种设计。
单调委派: 一条规则：随着工作的委派，权限只能收窄；子智能体的能力凭证绝不能包含父智能体所不具备的权利、对象、预算或有效期。

O

观测损失掩码: 对序列化轨迹逐 token 应用的训练掩码，仅对策略写出的 token（其推理、工具调用和轮次结束 token）计算损失，并将提示和环境观测保留为上下文。

P

分页 KV 缓存: 一种服务内存布局，将每条轨迹的注意力状态存储在共享池中的固定大小块内，并通过每条轨迹专属的表将其 token 位置映射到这些块，因此仅为实际存在的 token 占用内存，且分叉可以共享块。
pass@\(k\): 在一项任务的 \(k\) 次独立尝试中，至少一次成功的概率。它衡量潜力，也是 best-of-\(k\) 选择器所能达到的上限。
pass\(^k\): 在一项任务的 \(k\) 次独立尝试中，所有尝试均成功的概率。它衡量可靠性，随 \(k\) 增大而下降，是衡量在无人监督下反复执行的任务的指标。
待处理提案缓冲区: 由运行时管理的内存，用于在模型提案被解析、验证和授权期间，将其作为不触发执行的数据保存，直至这些步骤完成后才允许对其采取行动。
枢轴动作: 没有补偿动作的不可逆动作，例如发送电子邮件或结算付款。一条轨迹最多允许一个此类动作，须置于所有可补偿工作之后，并受审批关卡约束；执行该动作后，恢复只能向前继续。
预填充: 模型调用中处理提示词的阶段。所有提示词 token 共享一次权重读取，因此预填充受算术运算能力限制，每个 token 所耗时间远少于解码阶段。
前缀缓存: 复用已为提示词中未发生变化的开头部分计算出的注意力状态，使轨迹的每一轮仅处理新增 token。这是节省智能体每轮重复发送的输入处理开销的主要方式，而稳定前缀一旦发生任何变化，相应缓存便会失效。
过程奖励模型（PRM）: 一种通过学习得到的验证器，对多步轨迹中的每个中间步骤或工具动作进行评分，而非仅对最终结果评分。
进展检测: 一种运行时监控机制，根据环境状态判断轨迹是否正在取得进展，例如对重复动作进行哈希计算并比较各轮状态，而非依据心跳信号或模型自身的描述。

Q

隔离式读取器: 一种模式：由不具备工具的模型读取不可信内容，并仅返回带类型的值；另由一个从不接触这些不可信文本的独立规划器决定采取哪些动作。

R

基数树前缀缓存: 一种索引，将 token 序列前缀映射到为其计算出的注意力状态块，使新请求能够复用其最长已缓存前缀对应的块，并仅处理剩余 token。
推理预算: 在调用接口中设定的限制，用于限定推理模型在作答前最多可以使用多少 token 进行思考。
倒数排名融合（RRF）: 一种合并不同检索方法所产生的排序列表的方法，将每个条目在各列表中排名的倒数之和作为其得分，从而避免对彼此不兼容的评分进行相互校准。
恢复示范: 一条获准纳入训练的轨迹，在某个已标记的轮次中包含环境故障、工具错误或错误假设，随后进行诊断并采取纠正动作，且仍能通过所有准入检查。
可验证奖励强化学习（RLVR）: 一种策略优化方法，其中轨迹的奖励由在模型外部运行的自动化检查计算得出，例如将封闭测试套件、编译器或证明检查器应用于该轨迹所产生的状态。
重放: 依据轨迹日志运行智能体运行框架，并用桩替代模型和工具，使其返回记录中的回复与结果，从而无需发起新的模型调用或产生新的外部影响，即可复现并检查运行框架的行为。
恢复执行: 一种协议，根据轨迹日志和最新检查点，在新的工作节点上继续执行轨迹，并在派发任何新操作之前，先确定所有结果未明的外部影响的最终状态。
检索契约: 运行时与持久存储之间带类型的查询和响应约定，对范围、候选数量、延迟和新鲜度作出限定，并在每条结果获准进入上下文之前，对照其来源核验其版本与来源信息。
奖励投机: 策略通过未能完成奖励原本旨在衡量的任务的行为，提高其测得的奖励；具体方式包括利用奖励检查中的漏洞，或访问并篡改奖励计算机制。

S

密封测试: 一种在智能体无法触及的范围之外评判其结果的测试：在全新环境中针对最终状态运行，且智能体无法读取或修改测试。除形式化证明外，它是最强的闭环证据。
自洽性: 通过对采样候选的最终答案进行多数投票来选择候选。当答案简短且可比较时，这种方法有效；当候选存在相同错误时，则会失效。
语义补偿: 一种正向操作，就任务所关注的不变量而言，它将环境恢复到与某一步骤执行前等价的状态，同时保留该步骤及其撤销操作均已发生的记录。
序列打包: 将多个独立训练样本拼接成一个固定长度的序列，并对注意力和位置进行分区，使每个样本都如同单独存在一样得到处理。
结果核实: 在任何重试之前，利用幂等键或对环境的探测，确定结果未知的工具调用（例如超时的调用）是否实际生效。
影子运行: 一种发布阶段，候选智能体接收生产输入的副本，但无权更改生产状态，以便将其行为与基线进行比较。
规约边界: 智能体不可逾越的界线：它可以实现设计，但不能制定约束自身的契约。目标、环境、允许的操作、观测和完成标准仍由工程师掌握，任何运行时都只能依据该契约的规定验证结果。
推测解码: 一种模型服务技术，由小型草稿模型提出若干 token，再由目标模型在一个步骤中检查这些 token，并通过接受规则使输出分布与目标模型的分布完全一致。它能将解码延迟缩短一个常数倍，在服务器负载较轻时收益最大。
支出速率限制: 对任务或租户支出速度的限制，基于滑动窗口计算；当支出虽未超出预算但速度过快时，暂停支出。
停止原因: 模型响应中报告生成终止原因的字段，例如回合完成、发出工具调用、达到输出上限、遇到停止序列或拒绝请求。它是智能体循环的控制信号。
随机计算机: 在引言中一次性绘出的统一映射，将智能体系统的各部分对应到计算机的各部分：模型对应处理器，上下文和存储对应内存，工具对应输入与输出，运行时对应操作系统。这是一幅用于理解整体结构的映射图，而非一种机制。
结构化进度笔记: 运行时在压缩之前从轨迹历史中提取的类型化状态，例如决策、尚待验证的假设和约束；这些状态保存在模型自由形式的摘要之外，因此即使原始历史丢失，也能保留下来。

T

污点跟踪: 对源自不可信来源的数据进行标记，并将标记传播到由这些数据计算得出的所有内容，使拥有权限的工具调用能够拒绝携带该标记的参数。
任务契约: 委派任务的五部分规约：目标及明确排除的范围、环境、允许的操作、可用的观测，以及在指定证据等级下的完成标准。
任务环境: 一种可复现、隔离的环境，智能体在其中尝试完成评估或训练任务；每次试验之间都会重置，且密封测试始终置于智能体无法触及的范围之外。
任务夹具: 用于收集训练数据的、带有版本管理且可复现的任务定义，包括初始环境、任务描述和判定成功的检查项。
测试篡改防御: 一种准入规则，要求用于评判轨迹的测试位于智能体可写工作区之外，且任何获准的更改都不得触及这些测试。
测试时计算: 在运行时接纳结果之前，通过更长的推理、更多候选或多轮检查与修订，为单次决策投入的超出一次模型调用的推理计算。
时间回溯重放: 加载距离目标回合最近的较早检查点，并将日志重放至该回合，以重建轨迹在任意历史回合的精确状态；重放时，模型和工具均由桩替代。
追踪: 由跨度组成的图，记录一条轨迹中的模型调用、工具调用、审批和子智能体，以及各自的持续时间、token 数和结果，用于度量行为并进行归因，而非恢复行为。
轨迹: 委派任务执行过程的有序记录，交错记录每一步中模型看到的上下文、提出的操作以及运行时返回的观测。它是智能体系统中的工程基本单元。
轨迹有效吞吐率: 所有轨迹消耗的资源中，用于结果通过独立验证的轨迹的资源所占比例。
轨迹日志: 仅追加的类型化事件序列，包括上下文构建、模型回复、工具调用意图及结果、审批和压缩，是轨迹所执行操作的权威记录。轨迹记录是它的一个投影。
轨迹记录: 由智能体运行框架持有、模型从不写入的每条轨迹的控制状态，包括其标识、当前状态、单次调用限制、预算与实测支出、授权与租约、待处理工作，以及指向上下文、计划、日志和工作区的指针。
轨迹 Saga: 运行时为轨迹的外部效应施加的结构，其中每次工具调用都立即提交，并在分派前注册补偿操作，从而在中途失败时，通过逆序执行补偿操作来应对。
回合边界: 轨迹中既没有正在进行的模型调用，也没有分派到一半的工具调用的时刻；智能体运行框架在此时应用暂停或取消等待处理的控制操作。
类型化任务封装: 运行时从委派智能体传递给子智能体的、经过模式验证的记录，其中指定任务标识与追踪上下文、对输入的不可变引用、子智能体获得的经缩减的权限、预算，以及可由机器检查的完成标准。

U

可用上下文: 模型能够可靠地检索并整合任务所依赖的多项证据的输入长度，通过工作负载测量得出，而非从规格说明中读取。它通常远短于标称上下文窗口。

V

验证隔离区: 用于检查轨迹结果的独立、全新沙箱，将测试和奖励逻辑置于策略的工作区之外，使策略无法读取或修改它们。
验证器: 任何用于评判候选或结果的检查机制，范围涵盖编译器和密封测试等确定性检查，以及学习得到的评分器和评判器。确定性验证器可以把关哪些内容能够提交；学习型验证器仅对候选排序，随后由确定性关卡作出决定。

W

全轨迹成本: 所有尝试在模型 token、工具、沙箱、验证和人工审核上的总支出，除以结果获接受的尝试次数。
预写顺序: 一项规则：在授权某项外部效应的日志事件被持久化之前，该效应不得离开主机；从而在崩溃后，每项效应要么可确认是有意发起的，要么可确认未曾发生。

Z

零环境隐式权限: 模型本身不持有读取、修改或访问任何对象的权限这一属性；它提出的每项效应，都只能通过运行时签发并强制执行的授权和能力凭证来实现。

回到顶部