作者的话

世界正竞相构建 AI 系统，却尚未以工程方法打造它们。

这句话正是本书问世的原因。在基准测试中胜出的模型，还不能称为系统，而两者之间的距离也不是实现细节的问题。这段距离需要工程来跨越：让构建之物在不容协商的约束下依然可靠运行。演示无需对任何人负责。系统则必须满足延迟预算、内存限制和功耗约束，并承担在真实用户面前出错的代价。

一种不同寻常的耦合，使这一领域成为一门独立的学科。处理器受机器的物理规律支配，受时钟周期、缓存行以及散热能力的制约。统计模型受学习的数学规律支配，受偏差、方差以及泛化能力如何随数据和模型容量变化的影响。机器学习系统必须在同一个决策中同时满足这两方面的要求，而两者并不总是一致。有利于硬件的改动，可能使模型缺乏收敛所需的精度或吞吐量；有利于模型的改动，则可能要求芯片提供超出其能力的内存容量或带宽。始终关注这种张力，这个领域看起来就不再是一堆工具，而开始呈现为一个可以据以推理的结构。

本书将这一结构交到你手中。它不是今年流行的框架，也不是本季度速度最快的加速器，而是一种比它们更持久的思维方式。框架不断变化，硬件每隔几年便更新换代，基准测试也不断重设；但底层的作用因素始终不变。如果本书达到了预期，那么读完之后，无论面对哪一种机器学习系统，从仅消耗微瓦级功率的传感器，到消耗兆瓦级功率的服务器集群，你都能看出，决定其可能性的始终是同样少数几个因素。

学生时代，那些改变了我的教科书，给予我的并非事实，而是一种看待问题的方式，事实则围绕这种方式自行组织起来。这正是我在本书中努力做到的。

— Vijay Janapa Reddi
马萨诸塞州剑桥市
2026