系统假设
本书中的每一个定量示例——从集群故障率到集合通信成本，再到碳足迹估算——都使用一组特定的假设数值：标准集群规模、互连结构带宽、加速器可靠性、电能转换效率、区域碳强度以及模型利用率区间。本附录将这些集群规模假设集中在一处，以便核对本书的算术、与章节速算结果对照，或代入演算示例。
如何使用本附录
使用本附录来验证集群规模估算、替换为替代假设（例如 NDR 与 HDR 互连结构、魁北克与波兰的碳强度，或不同的模型 FLOPs 利用率（MFU）），或识别某一章节计算所依赖的数值常数。定位相关小节，阅读 Value 与 Unit 两列，并将这些数值代入目标算术。
开头的一处速算提示框展示了若干假设如何组合（故障率、AllReduce 时间、碳足迹）。硬件与链路带宽是上限，除非章节另行说明有效带宽折扣。请将表格视为本版的共享假设表，而非不可更改的物理定律。
Napkin Math 1.1: 快速计算
问题： 估算集群每天应预期多少 GPU 故障。
变量： 使用 8,192 GPUs 的集群，以及单个 GPU 的平均无故障时间（MTTF）为 50,000 hours。
计算： GPU 故障率为 8,192 GPUs ÷ 50,000 hours × \(\approx\) × 0.16 failures/hour，约等于 ~3.9 failures/day。
结果： 该估算不含网络接口卡（NIC）、电源（PSU）和线缆故障。在 100,000 GPUs 下，仅 GPU 的故障率约为 ~48 failures/day；计入 NIC、PSU 和线缆故障后，运行期事件流大致翻倍。
系统洞见： 在集群规模下，故障成为一种持续的背景过程，而非异常事件。
问题： 估算一个 70B 模型的 AllReduce 耗时。
变量： 使用 BF16 参数和 InfiniBand NDR，端口标称字节率为 50 GB/s。
计算： 梯度载荷为 70 × \(\times 10^9 \times\) × 2 字节 = 140 GB。环形 AllReduce 的速算估计为 2 × \(\times\) × 140 GB ÷ 50 GB/s × \(\approx\) × 5.6 s。
结果： 该集合通信可消耗训练步的相当一部分。
系统洞见： 流水线并行与张量并行部分地存在，以缩小每个秩需要通信的梯度体积。
问题： 估算一次 10,000 GPUs 训练运行的碳足迹。
变量： 每台 H100 在热设计功耗（TDP）下消耗 700 W。使用电能转换效率（PUE）1.12、魁北克电网强度 20 g/kWh 和波兰电网强度 820 g/kWh。
计算： 设施总功率为 10,000 GPUs × \(\times\) × 700 W × \(\times\) × 1.12 = 7.84 MW。在魁北克，7.84 MW × \(\times\) × 720 h/月 × \(\times\) × 20 g/kWh = 112.9 t CO\(_2\)/月。
结果： 同一运行在波兰排放 4628.7 t，差异为 41×。
系统洞见： 电网碳强度可以主导相同硬件、模型与训练时长下的排放差异。
基础硬件回顾
本书中的分布式系统推理建立在单节点性能上限之上。表 1 回顾了本书作为主要加速器参考所采用的 H100 假设。
| 类别 | 假设 | 数值 |
|---|---|---|
| 计算 | H100 FP16 峰值吞吐 | 989 TFLOP/s |
| 计算 | H100 FP8 峰值吞吐 | 1,979 TFLOP/s |
| 内存 | HBM3 带宽 | 3.35 TB/s |
| 内存 | HBM3 容量 | 80 GB |
| 热设计 | TDP | 700 W |
集群参考配置
本书使用四个规范集群层级（256、2,048、8,192 和 100,000 个 GPU）来说明系统行为如何随规模变化。它们是编辑性参考点，与常见的研究实验室、生产、大规模训练和超大规模集群相对应，而非来自某一次具体部署的实测数据。规范集群规模 定义 GPU 数量；各章据此推导节点数量、故障率与网络需求，并结合后续表格中的假设。
| 假设 | 数值 | 单位 |
|---|---|---|
| 小型集群 GPU 数量（256 层级） | 256 | GPUs |
| 中型集群 GPU 数量（2,048 层级） | 2048 | GPUs |
| 大型集群 GPU 数量（8,192 层级） | 8192 | GPUs |
| 超大规模集群 GPU 数量（100,000 层级） | 100000 | GPUs |
集群规模与系统行为之间的关系并非线性。256 GPU 集群可能在数天之间才发生一次故障；而 100,000 GPU 集群则每小时会经历多次故障。这种非线性正是故障容错(容错)与集群编排(集群编排)各章将故障视为持续的背景过程而非异常事件的原因。
网络互连结构决定了梯度同步是耗时毫秒还是秒，以及流水线并行在节点边界之间是否可行。
网络与互连规范
分布式训练与推理的瓶颈既来自机器内部的计算，也来自机器之间的数据移动。 网络假设 为每一级互连结构固定带宽与延迟，范围从节点内部的 NVLink/PCIeChoquette (2023年)，经 InfiniBand、远程直接内存访问（RDMA）和以太网互连Ethernet Alliance (2025年)，直至光速 WAN 下限（物理恒等式）。
节点内互连
在单个节点内部，GPU 通过 NVLink 或 PCIe 通信。这些带宽（节点内互连带宽与延迟）决定了张量并行（需要高带宽、低延迟通信）在节点边界内是否可行。这些数值在此集中列出，供后续集群级各章复用。
| 假设 | 数值 | 单位 |
|---|---|---|
| NVLink 带宽（V100） | 300 | GB/s |
| NVLink 带宽（A100） | 600 | GB/s |
| NVLink 带宽（H100） | 900 | GB/s |
| PCIe Gen3 带宽（V100 主机） | 15.75 | GB/s |
| PCIe Gen4 带宽（A100 主机） | 32 | GB/s |
| PCIe Gen5 带宽（H100 主机） | 64 | GB/s |
| NVLink 单向延迟 | 500 | ns |
| PCIe Gen5 单向延迟 | 1000 | ns |
节点间互连
数据一旦跨越节点边界，带宽下降一个数量级，延迟增加 5–10\(\times\)。这一断崖形塑了所有并行策略决策：需要频繁、细粒度通信的操作（张量并行）保留在节点内部，而通信模式较粗的操作（数据并行、流水线并行）则跨越节点。为容纳各章使用的不同约定，节点间网络带宽与延迟 为每种互连结构同时列出比特率与字节率形式。
| 假设 | 数值 | 单位 |
|---|---|---|
| InfiniBand HDR 链路带宽（比特率） | 200 | Gb/s |
| InfiniBand HDR 带宽（字节率） | 25 | GB/s |
| InfiniBand NDR 链路带宽（比特率） | 400 | Gb/s |
| InfiniBand NDR 带宽（字节率） | 50 | GB/s |
| InfiniBand XDR 带宽（字节率） | 100 | GB/s |
| 400 GbE 带宽（字节率） | 50 | GB/s |
| 800 GbE 带宽（字节率） | 100 | GB/s |
| 100 GbE RoCE 带宽（字节率） | 12.5 | GB/s |
| InfiniBand 单向延迟 | 5000 | ns |
广域网
跨区域通信引入了由光纤中光速决定的延迟下限。对于一条 5,000 km 链路（大致从纽约到伦敦），单向最小延迟为 5,000 km/200,000 km/s = 25 ms，比数据中心内部延迟高出几个数量级。这一物理约束解释了为何地理分布式训练采用异步方法或对流水线阶段进行谨慎放置，以及为何联邦学习(边缘智能)能够容忍过期梯度。
网络规范定义了数据移动的快慢，但并未说明发送该数据的机器会多久发生故障。下一节将量化各个组成部分的可靠性，这些组件正是推导集群级故障率的基础构件。
可靠性假设
在集群规模下，部件故障并非异常事件，而是统计意义上的必然。这里的可靠性假设 为数据中心 GPU 节点中的每一类主要部件固定平均失效时间（MTTF），以及故障的检测与恢复耗时。这些数值驱动 容错 中的分析与 集群编排 中的调度；更深入的故障建模见 可靠性基础。
部件 MTTF
部件平均失效时间 列出各类部件的 MTTF。这些是稳态数值，排除了“早期失效”期（前 30–90 天）与“耗损期”（超过额定寿命）。来源包括大规模 GPU 研究集群分析@kokolis2025、TPUv4 超级计算机的可靠性与运维@zu2024tpuv4，以及仓库级机器设计@barroso2019。
| 假设 | 数值 | 单位 |
|---|---|---|
| GPU MTTF | 50000 | hours |
| NIC MTTF | 150000 | hours |
| PSU MTTF | 100000 | hours |
| PCIe 交换机 MTTF | 200000 | hours |
| HBM MTTF | 200000 | hours |
| 机架顶部交换机 MTTF | 300000 | hours |
| 光模块与光纤 MTTF | 50000 | hours |
恢复时间假设
故障检测与恢复会引入停机时间，且随集群规模累积。恢复时间参数 列出用于检查点间隔优化（即 杨—达利定律：最优检查点策略 中的 Young-Daly 公式）以及本书全篇有效吞吐量计算的假设。
| 假设 | 数值 | 单位 |
|---|---|---|
| 故障检测超时（心跳） | 30 | seconds |
| 作业重调度延迟 | 60 | seconds |
| 检查点写入带宽（聚合） | 100 | GB/s |
可靠性常数量化了故障发生的频率与恢复所需的时间。每次故障的成本取决于需要重复通信的量。以下参数对该通信开销进行建模。
通信模型参数
本书使用 \(\alpha\)-\(\beta\) 框架对通信成本进行建模：\(T(n) = \alpha + n/\beta\)，其中 \(\alpha\) 表示启动延迟，\(\beta\) 表示持续带宽 (Hockney 1994年)。通信模型参数 (α-β) 列出了来自网络互连结构规范、厂商产品文档以及大规模集群训练研究 Jiang 等 (2024年) 的取值。这些参数用于 集合通信 中的集合通信模型以及 分布式训练 中的并行方案比较。
| 假设 | 取值 | 单位 |
|---|---|---|
| InfiniBand NDR 启动延迟 (\(\alpha\)) | 5 | us |
| InfiniBand NDR 持续带宽 (\(\beta\)) | 50 | GB/s |
| InfiniBand HDR 启动延迟 (\(\alpha\)) | 7 | us |
| InfiniBand HDR 持续带宽 (\(\beta\)) | 25 | GB/s |
| RoCE 启动延迟 (\(\alpha\)) | 10 | us |
| RoCE 持续带宽 (\(\beta\)) | 12.5 | GB/s |
| TCP 启动延迟 (\(\alpha\)) | 50 | us |
AllReduce 成本模型
环形 AllReduce（梯度同步中最常见的集合通信）每个 rank 传输 \(2(N_{\text{rank}}-1)M/N_{\text{rank}}\) 字节，其中 \(N_{\text{rank}}\) 为 rank 数量，\(M\) 为消息大小。当 \(N_{\text{rank}}\) 较大时，该值趋近于每个 rank 的 \(2M\) 字节。AllReduce 成本参数 列出了 AllReduce 成本估算所用的常数。
| 假设 | 取值 | 单位 |
|---|---|---|
| 环形 AllReduce 带宽因子 | 2 | (dimensionless) |
| 每节点 GPU 数 | 8 | GPUs/node |
通信模型量化了协同的开销。该协同的可持续性成本（所消耗的电力、所消耗的水、所排放的碳）需要针对计算设施周围的物理基础设施单独设定假设。
可持续性假设
集群规模机器学习的环境影响取决于三个因素：设施超出 IT 设备的取电量（电能利用效率 PUE）、冷却系统消耗的水量（水利用效率 WUE），以及当地电网每千瓦时排放的碳量。可持续性假设 支持 Sustainable AI 以及 规模化机器学习运维 中的总拥有成本估算。
电能利用效率
PUE 是设施总用电量与 IT 设备用电量之比。PUE 为 1.0 表示零冷却开销；实际数据中心介于 1.06（液冷）到 1.58（传统风冷）之间。表 2 列出了本书全程使用的参考 PUE 值。
| 假设 | 取值 | 单位 |
|---|---|---|
| PUE（液冷，业界最佳） | 1.06 | (ratio) |
| PUE（最佳风冷） | 1.12 | (ratio) |
| PUE（行业平均） | 1.4 | (ratio) |
| PUE（传统风冷） | 1.58 | (ratio) |
水利用效率
WUE 衡量每千瓦时 IT 能耗所消耗的水量（升）(The Green Grid 2011年)。蒸发冷却塔可实现极佳的 PUE，但耗水量显著；闭式液冷几乎不耗水，但需要更高的资本投入。表 3 列出了参考 WUE 值。
| 假设 | 取值 | 单位 |
|---|---|---|
| WUE（风冷） | 1.8 | L/kWh |
| WUE（蒸发冷却） | 1.8 | L/kWh |
| WUE（闭式液冷） | 0 | L/kWh |
区域电网碳强度
同一训练运行会因供电电网不同而排放出差异极大的 CO\(_2\)。表 4 列出了来自 IEA 与加拿大政府排放因子数据的区域电网碳强度 Environment and Climate Change Canada (2026年)，已四舍五入以便快速估算。这些数值是 Sustainable AI 中感知位置调度（location-aware scheduling）的核心。
| 假设 | 取值 | 单位 |
|---|---|---|
| 电网碳强度（挪威） | 10 | gCO2/kWh |
| 电网碳强度（魁北克） | 20 | gCO2/kWh |
| 电网碳强度（法国） | 50 | gCO2/kWh |
| 电网碳强度（欧盟平均） | 270 | gCO2/kWh |
| 电网碳强度（美国平均） | 429 | gCO2/kWh |
| 电网碳强度（波兰） | 820 | gCO2/kWh |
机架功率密度
AI 加速器机架的取电量比传统数据中心机架高出 6–8\(\times\) 倍，由此产生热密度挑战，迫使冷却方式从风冷转向液冷。表 5 列出了 计算基础设施 与 Sustainable AI 中使用的参考机架功率水平，锚定于当前 AI 供电与冷却产品披露 Schneider Electric (2024年)。
| 假设 | 取值 | 单位 |
|---|---|---|
| 机架功率（传统企业级） | 12 | kW |
| 机架功率（AI，典型） | 70 | kW |
| 机架功率（AI，高密度） | 100 | kW |
| 每机架风冷实用上限 | 30 | kW |
可持续性常数捕捉了运行整个集群的物理与环境成本。下一节的经济常数将这些物理成本换算为美元金额，从而完成总拥有成本图景。
经济假设
集群规模成本估算取决于 GPU 租赁费率、电价以及数据传输费用。这些是超大规模云订单的示例费率（2024–2025 量级），用于比率分析，而非针对特定合同的报价。表 6 支持 规模化机器学习运维 以及 在大规模下运行推理 总拥有成本（TCO）的快速估算。
| 假设 | 取值 | 单位 |
|---|---|---|
| 云 GPU 训练租赁费率 | 4 | dollar/h |
| 云 GPU 推理租赁费率 | 2.5 | dollar/h |
| 云电价 | 0.12 | dollar/kWh |
| 云出网价格（每 GB） | 0.09 | dollar/GB |
经济常数设定了每单位资源的单价。容量规划则追问每个资源单位中有多大比例真正完成了有用工作。容量规划常数量化了峰值能力与可达吞吐量之间的差距。
容量规划假设
容量规划假设 量化两个相关现象：(1) 真实工作负载达到的峰值硬件性能比例（模型 FLOPs 利用率），以及 (2) 该性能随机器数量增加而扩展的效率（扩展效率）。二者共同决定给定集群规模与预算下可用的有效计算量——这是项目规划中真正关键的那个数字。
规划方程是相乘形式： \[ R_{\text{eff}} = N R_{\text{peak}} \times \text{MFU} \times \eta_{\text{scaling}} \times (1 - f_{\text{overhead}}) \]
其中 \(R_{\text{eff}}\) 为有效集群吞吐量，\(N R_{\text{peak}}\) 为集群名义峰值吞吐量，MFU 将峰值硬件性能折算为实际模型吞吐量，\(\eta_{\text{scaling}}\) 就通信与协同损失对新增机器进行折算，\(f_{\text{overhead}}\) 则扣除用于流水线气泡、检查点、故障恢复和维护的墙钟时间。以下三个小节依次确定这些因子。
模型 FLOPs 利用率
MFU 衡量实际计算吞吐量与硬件峰值理论吞吐量的比值。MFU 为 0.50 表示该工作负载达到峰值 FLOP/s 的一半。模型 FLOPs 利用率（MFU）区间 列出本书训练时间与成本估算中使用的参考 MFU 区间。
| 假设 | 数值 | 单位 |
|---|---|---|
| 训练 MFU（低端） | 0.3 | (fraction) |
| 训练 MFU（高端） | 0.5 | (fraction) |
| 推理 MFU（批大小 1） | 0.05 | (fraction) |
| 推理 MFU（批处理） | 0.4 | (fraction) |
扩展效率
扩展效率 \(\eta_{\text{scaling}} = T_1/(N \times T_N)\) 衡量新增计算中实际缩短训练时间的部分。按集群规模的扩展效率 列出与大规模语言模型（LLM）训练已发表结果相一致的示例效率档位 (Chowdhery 等 2022年; Jiang 等 2024年)，具体取决于工作负载与网络互连结构。
| 假设 | 数值 | 单位 |
|---|---|---|
| 扩展效率（32 GPU） | 0.9 | (fraction) |
| 扩展效率（256 GPU） | 0.7 | (fraction) |
| 扩展效率（1,024 GPU） | 0.5 | (fraction) |
| 扩展效率（8,192 GPU） | 0.35 | (fraction) |
开销预算
真实训练任务会占用一部分墙钟时间用于非计算活动：流水线气泡空闲时间、检查点写入、故障恢复以及计划内维护。开销预算（墙钟时间占比） 列出本书全程采用的开销预算。这些比例是相加的：集群规模下的总开销约为 5 percent + 3 percent + 10 percent + 5 percent = 23 percent，即只有 77 percent 的墙钟时间产生有用的训练进展。
| 假设 | 数值 | 单位 |
|---|---|---|
| 墙钟时间开销（流水线气泡） | 0.05 | (fraction) |
| 墙钟时间开销（检查点） | 0.03 | (fraction) |
| 墙钟时间开销（故障恢复） | 0.1 | (fraction) |
| 墙钟时间开销（计划内维护） | 0.05 | (fraction) |
上表采用 表 7 中的单位约定，即十进制数据前缀（KB \(= 10^3\) 字节），并将工作（FLOPs）与吞吐量（FLOP/s）分别处理，以及下表中的别名。
单位约定
表 7 明确了本书所有定量示例使用的单位约定。每行给出 \(k\) 在 1 alias \(=\) \(k\) base 中的乘数。数据前缀采用十进制 SI（\(\mathrm{KB} = 10^3\) 字节，而非 1024）。吞吐量（FLOP/s、GB/s）将这些别名与时间相结合；将不兼容的量纲相加（将字节与 FLOP/s 相加）是粗略估算中的类别错误，而非单位换算。
硬件容量是唯一刻意保留的例外。厂商用十进制符号标注内存，但实际提供的是二进制容量。标称容量为 80 GB 的加速器提供 \(80 \times 2^{30}\) 字节，因此，由八个此类设备组成的节点具有 \(640 \times 2^{30}\) 字节，而非 \(640 \times 10^9\)。本书同时保留厂商的数值和单位标注，因此，印为 80 GB 的容量是铭牌标称值，而非将其换算为十进制后的数值。所有其他数据量，包括模型占用空间、KV 缓存大小、检查点数据量和集合通信载荷，均采用上述十进制前缀。在算例中，从设备容量中减去计算得到的占用空间时，两项均以十进制表示，以便读者能够复现书中列出的计算。
| 别名 | 乘数 | 基本单位 |
|---|---|---|
byte |
1 | byte |
KB |
1000 | byte |
MB |
1e+06 | byte |
GB |
1e+09 | byte |
TB |
1e+12 | byte |
PB |
1e+15 | byte |
flop |
1 | flop |
GFLOPs |
1e+09 | flop |
TFLOPs |
1e+12 | flop |
ZFLOPs |
1e+21 | flop |
param |
1 | param |
Mparam |
1e+06 | param |
Gbps |
1e+09 | bit/s |
NS |
1e-09 | second |
US |
1e-06 | second |
MS |
0.001 | second |
second |
1 | second |
hour |
3600 | second |
day |
86400 | second |
joule |
1 | joule |
watt |
1 | watt |
meter |
1 | meter |
除表中内容外，还有两项集群规模的约定值得强调：
- 网络带宽既以比特率（Gbps）表示，也以字节率（GB/s）表示。除以 8 即可将 Gbps 换算为 GB/s（例如，400 Gbps = 50 GB/s，适用于 InfiniBand NDR）。各章采用适合相应计算的形式；估算传输时间时，使用字节率通常更方便。
- 碳强度使用 gCO\(_2\)/kWh（每千瓦时排放的 CO\(_2\) 克数）。将总能耗（kWh）乘以区域碳强度，得到以克为单位的排放量，再除以 \(10^6\) 换算为吨。
假设来源溯源
下表将每个附录章节映射到其来源类别和主要文献引用，为本书的数值常数提供透明的溯源记录。详见 表 8 中的完整表格。
| 附录章节 | 来源类型 | 主要引用 |
|---|---|---|
| H100 概览 | 厂商数据手册峰值 | (Choquette 2023年) |
| 集群层级 | 本书约定 | (Kokolis 等 2025年)（规模背景） |
| 网络互连结构 | 厂商规格；InfiniBand 标准 | (NVIDIA Corporation 2017年, 2020年; Choquette 2023年; InfiniBand Trade Association 2000年) |
| 可靠性（MTTF） | 集群研究 | (Kokolis 等 2025年; Zu 等 2024年; Barroso 等 2019年) |
| 恢复时间 | 设计假设 | (Young 1974年; Daly 2006年) |
| 通信（\(\alpha\)–\(\beta\)） | 互连规格；大规模训练 | (InfiniBand Trade Association 2000年; Jiang 等 2024年) |
| AllReduce 模型 | 算法恒等式 | (Gibiansky 2017年) |
| 可持续性（PUE/WUE/机柜功率） | 行业调查 | (Uptime Institute 2022年; The Green Grid 2007年) |
| 碳强度 | 电网统计 | (International Energy Agency 2023年) |
| 云经济 | 示意性费率 | 编辑（2024–2025 数量级） |
| MFU 与扩展效率 | 已发表的 LLM 训练 | (Chowdhery 等 2022年; Narayanan 等 2021年; Pope 等 2023年; Jiang 等 2024年) |
| 开销预算 | 本书约定 | 编辑工程目标 |
| 单位约定 | 十进制 SI；本书记号 | 编辑 |
摘要
本附录是本书共享的集群规模假设表：本书中的每张便笺式估算都应可追溯到上表中的某一行，并且在必要时可追溯到本附录中的溯源章节与目录。
Key Takeaways: 使用集群假设表
- 共享集群数字集中一处：集群层级、互连带宽、MTTF 与恢复时间、\(\alpha\)–\(\beta\) 通信参数、设施能效、用水、碳强度、云定价、MFU、扩展效率以及工作示例中使用的开销预算均列于此处，以便无需从正文重新推导即可进行审计或替换。
- 可靠性假设决定故障时钟：MTTF 与恢复时间行决定了故障中断训练的频率以及损失多少墙钟时间。在 10,000+ GPU 的规模下，故障属于常态，而非异常；详见 可靠性基础 中的更深层次建模。
- 通信假设决定可行性：\(\alpha\)–\(\beta\) 的取值决定了给定模型规模与互连结构下同步分布式训练是否可行。10× 所反映的 RDMA 与 TCP 之间的延迟差距，解释了训练集群为何更青睐 InfiniBand。
- 可持续性假设揭示选址杠杆：设施能效、用水与碳强度表明，数据中心选址与冷却方式可能胜过许多算法层面的微调。82× 所示的挪威与波兰电网碳强度差异，往往是最大的杠杆。
- 容量假设量化可用吞吐量：MFU、扩展效率与开销预算将硬件峰值连接到可用的吞吐量。在 8,192 GPU 的规模下，理想扩展中仅约 35 percent 得以实现，而合并后的开销消耗了约 23 percent 的墙钟时间。
- 自定义参数替换：当部署在互连结构、区域、MFU 或集群规模上存在差异时，替换
Value列并重新评估相应公式。 - 在争论某个数字前先核查溯源：数据手册峰值、集群研究、示意性费率与本书约定来源各不相同；表 8 与章节题注会标明各自属于哪一类。