作者的话

当一款新模型被发布时，世界关注的是模型本身。几乎没有人关注背后的集群。

然而，在许多前沿模型背后，是数千台加速器，它们通过网络保持同步，其中一条缓慢的链路就可能让整个运行停滞；它们由移动兆瓦级热量的系统冷却，并由把故障视为非例外而是计划内事件的处理协议维持运行。这些内容都不出现在发布中。模型获得论文，集群最多只配上一句脚注。

本书的论点在于：集群理应获得比脚注更多的关注。我们此前确实构建过庞大的分布式系统，但没有哪一个像这一套，因为此前的系统都不必同时把两件事做好。电话网络必须保持可用，却从未需要收敛；互联网必须交付数据包，却从未需要保留其中的梯度。一套集群必须两者兼得。它必须以任何分布式系统的方式移动数据，同时必须在移动过程中保持学习数学的完整。某个节点掉线，不仅损失容量，还可能破坏训练步骤所依赖的同步，并触发回滚，从而浪费自最近一次检查点以来的全部工作。这种计算与统计双重义务，在小型园区的规模上持续存在，正是本书使其显现的工程问题。

这项义务在训练结束之后并未终止。无法训练的模型只是一个想法，而非系统；无法服务的模型只是一项研究成果，而非产品；无法治理的模型只是一项负债，而非资产。从首个分配节点到最后一个被服务的请求，集群在每个阶段都决定什么可行、什么仍停留在想象之中。

贯穿每一章的问题都容易陈述却难以解决：构建不是一台机器学习系统而是上千台，让它们作为一个整体协同工作，并负责任地运行它们。我相信，这是本世代定义性的工程问题，而那些承担这一问题的人——那些很少获得头条的人——值得拥有一本将其作为核心问题来对待的书。

— Vijay Janapa Reddi
剑桥，马萨诸塞州
2026