大规模部署原则

Parts I 和 II 构建了集群并训练了模型。如今，生产部署成为运营问责的试金石。Part III 将关注点从单次、大规模的训练运行转移到全球推理集群：那些地理上分布的数千台服务器和数十亿台边缘设备，实时向用户提供服务模型输出。从训练到生产的这一转变，从根本上改变了工程约束：从在静态数据集上最大化吞吐量，转变为在动态请求流上最小化延迟，且全部处于全球服务的物理约束之内。

在这一形态下，工程成为与用户体验的协商。系统可以在数据中心优化为高批处理吞吐量，但代价是可能违反用户的延迟预算。将模型部署到边缘可以消除网络延迟，却引入了移动与物联网（IoT）硬件那紧张得多的内存与功耗预算。这些原则支配着大规模部署智能体的性能工程与运营经济学。

第一个约束来自生成机制本身。

Principle 14: 自回归瓶颈

不变量：在低批处理稠密 Transformer 解码中，吞吐量受内存带宽限制，因为模型权重必须为每个生成 token 在设备间流式传输。更高的批处理规模摊薄了权重流式传输，而在长上下文下，键值（KV）缓存流量将约束瓶颈转移到别处。

推论：吞吐量起初随批处理规模提升，因为权重读取在请求间被摊薄，直到设备延迟预算、KV 缓存容量或持续计算能力成为约束上限。因此，服务系统需要批处理、缓存管理与内存布局策略，使带宽保持有用，同时不违反延迟服务水平目标（SLO）。

同样的账目从设备带宽延伸到集群经济学。

Principle 15: 服务成本主导定律

不变量：对于高流量生产模型，其整个生命周期内的累计推理成本可能超过一次性训练成本 10–100\(\times\) 倍。

推论：推理效率往往成为生命周期优化的主导目标。当流量规模、产品生命周期与重训节奏使得服务成本占主导时，优化工作（量化、蒸馏、稀疏化）应聚焦于推理路径。

在大规模下，路由策略成为保护延迟的另一个杠杆。

Principle 16: 两择策略（P2C）

不变量：在理想化的过程中，将 \(R\) 个独立请求依次放置到 \(R\) 个副本中，每个请求独立且均匀随机地采样副本，查询两个副本并选择负载较轻的那个，可将最大负载从单择上界 \(\Theta(\log R / \log \log R)\) 降低到 \(\Theta(\log \log R)\)，以高概率成立。 \[ \Theta(\log R / \log \log R) \to \Theta(\log \log R) \]

推论：简单的随机负载均衡算法能以 \(\mathcal{O}(1)\) 的协同开销产生显著更低的最大负载上界。在服务的排队假设下，更低的最大负载在大规模下转化为更低的尾延迟。

Part III 将训练好的模型从集群带到世界。这条路径始于性能工程，其中精度选择、内核行为与编译决定了系统实际能够利用硬件理论容量的多少。随后进入大规模推理，请求批处理、缓存管理、路由与分片将单机效率转化为集群级的延迟控制。边缘智能将同样的纪律带入内存、功耗与连接预算小得多的设备，而大规模运营则通过监控已部署集群、协调平台归属，并在生产行为偏离设计假设时作出响应。这些章节共同构建了将训练好的模型转化为持久生产系统的运营纪律。