致谢

起源

关于 TinyML 的早期教学，源于这样一个认识：毫瓦级设备的约束与数据中心加速器的约束是相同的。本书则源于另一个认识，它来自我在 Google 担任访问研究者期间参与 ML Fleet Efficiency 项目的工作。Peter Mattson 曾是 MLPerf 的合作者，正是他促成了这次机会。在那里我所见到的东西，改变了我对机器学习系统思维方式：将数千台加速器协调为单一连贯系统所需的工程能力，本身就是一门学科，而当时这门学科没有教科书。

这项工作让我接触到了 ML Productivity Goodput（MPG）指标、此前我从未见过的集群级异构性，以及故障作为统计必然性而非例外的日常现实。从业者所知的东西与已被书面记录的东西之间的差距是巨大的。构建这些系统的研究者各自发表了独立成果，但这些成果之间相互连接的脉络、使它们凝聚为一门学科的原则，只存在于从事这项工作的人们的头脑中。本书试图记录这一连接脉络。

合作者与同事

关于集群级系统，我所知的大部分来自 Google 的 ML Fleet Efficiency 团队：Arissa Wongpanich、Tayo Oguntebi、Jose Baiocchi Paredes、Yu Emma Wang、Phitchaya Mangpo Phothilimthana、Ritwika Mitra 和 Zongwei Zhou。Naveen Kumar 领导了这一工作，他关于集群级优化的思考方式至今仍影响着我的思考。Robert Hundt 推动了我对大规模性能工程的理解。Naveen 与 Robert 共同向我展示了集群级效率从内部看是什么样子。David Kanter 延续了 MLPerf 合作，我们关于分布式系统基准测试的讨论， sharpened 贯穿每一章的定量方法。Greg Diamos 就规模定律及其在 Baidu 的起源提供了宝贵的视角，那里是大规模分布式训练最早期工作成形之处。

本书参考文献中那些论文的作者，值得特别的致谢。构建这些系统、测量这些故障并公布所学内容的从业者与研究者，发现了本书所传授的原则，而非为这本教科书而发明它们。本书将他们的成果综合为连贯的叙述。这份恩德属于他们。

支持

哈佛数据科学计划（Harvard Data Science Initiative）、哈佛扩展学院（Harvard Extension School）和国家科学基金会（National Science Foundation）支持了这项工作；Edge AI Foundation 与 ICTP 支持了教育推广与奖学金；我们的产业合作伙伴提供了基础设施与工具，使实践性实验成为可能。

在 MIT Press，Susan Hartman 从一开始就相信这个项目，并引导两卷书从开源实验走向出版教科书。她的编辑判断与支持使本书得以成书。我也同样感激 MIT Press 同意本书以开放获取方式提供。关于一门由开源社区塑造的学科，教科书应当对其中涉及的每一个人开放。

一个开源社区以任何单一作者都无法企及的方式塑造了本书。数十位贡献者发现了错误、改进了讲解、提交问题并推送了 pull request。本书之所以有所进步，是因为那些对它毫无亏欠的人选择了让它变得更好。我对每一位都心存感激。

有关全部贡献者的完整且最新的名单，请访问 GitHub 贡献者页面。有意贡献者，请参阅我们的 贡献指南。

每一个 GitHub 星都是有人关注这一材料、从中学习、并相信这项工作重要的信号。学习者组成的在线社区，带着他们的提问、好奇，以及愿意与一本尚未完成的教科书互动的意愿，在范围令人感到不堪重负时推动了项目前进。

最后，我要感谢我的妻子和我的孩子们。我是在属于他们的时间里写下这本书的：消失在反复修改中的周末、延长到午夜之后的夜晚，以及我人在场却并未真正投入的清晨。他们从未抱怨。他们询问写作进展，给我端来咖啡，并给了我完成它所需的空间。无论本书有何价值，都是他们的耐心与支持使其成为可能。