术语表

本术语表定义了本书中使用的关键术语。术语按字母顺序排列。

A

自适应路由: 一种路由机制，依据当前网络条件（如队列占用情况）在可用路径之间进行选择，以避免热点，同时保持传输的排序要求。
问责性: 使个人或组织对人工智能系统的结果负责的各种机制，涉及可追溯性、文档记录、审计，以及补救损害的能力。
激活检查点: 一种节省内存的训练技术，仅保存选定的激活值，并在反向传播期间重新计算其余激活值，以额外的计算换取更低的内存使用。
适配器模块: 插入到预训练模型冻结层之间的小型可训练神经网络组件，用于在不修改基础架构的前提下实现轻量级适配。
自适应资源模式: 一种设计模式，使系统能够根据资源可用性的变化动态调整自身操作，通过依据计算负载、网络带宽和存储容量进行扩容或缩容，确保效率与韧性。
先进封装: 半导体集成技术，如 2.5D 中介层、chiplet 和 3D 堆叠，用于以传统电路板无法提供的更短、更密集的互连来连接多个 die。
对抗性攻击: 一种攻击类型，精心构造的输入旨在使机器学习模型产生错误预测，同时与人类看来合法的數據几乎无法区分。
对抗性样本: 一种恶意修改的输入，旨在诱使机器学习模型产生错误预测，通常通过对合法数据添加微小、不可察觉的扰动来构造。
对抗性训练: 一种防御技术，通过在对抗性样本上进行训练来提升模型的鲁棒性及其正确分类对抗性输入的能力。
AGI: 通用人工智能——计算系统，在所有知识领域和推理方面达到或超过人类认知能力，能够在不针对特定任务训练的情况下跨多样的问题领域进行泛化。
AI for good: 机器学习系统的设计、开发与部署，旨在应对重要的社会和环境挑战，以提升人类福祉、促进可持续发展并贡献于全球发展目标。
算法公平性: 一项原则：自动化系统不应基于种族、性别或年龄等受保护属性对个体或群体产生不成比例的劣势。
AllGather: 一种集合通信操作，收集每个 rank 的分片，并将合并后的结果提供给每个 rank。
AllReduce: 一种集合通信操作，在 rank 之间执行归约并将归约结果返回给每个 rank，常用于梯度同步。
AllToAll: 一种集合通信操作，每个 rank 向所有其他 rank 发送各自不同的数据，并从每个 rank 接收各自不同的数据。
alpha-beta 模型: 一种通信成本模型，将固定启动延迟与随消息大小变化的传输时间分离开来，以估算数据传输成本。
异常检测: 识别数据中不符合预期行为的模式，常用于检测系统中的离群点、故障或恶意活动。
匿名化: 从数据集中移除或修改个人可识别信息以保护个人隐私的过程，但通常不足以抵御精明的再识别攻击。
算术强度: 每移动一个字节数据所执行的计算量，通常以 FLOP/byte 衡量。
通用人工智能: 一种假设形式的人工智能，在所有领域达到或超过人类认知能力，代表当前窄人工智能系统之外的人工智能研究的终极目标。
人工智能: 计算机科学的一个广泛领域，专注于构建能够执行通常需人类智能才能完成的任务的系统，包括学习、推理和决策。
攻击分类法: 对针对机器学习系统的安全威胁和对抗性攻击进行的系统性分类，按方法、目标和影响组织威胁，以指导防御策略。
自编码器: 一种神经网络架构，通过最小化重建误差来学习压缩的数据表示，常用于异常检测和降维。
自动化偏见: 人类即使面对明显错误也过度依赖自动化系统输出的倾向，可能损害人工监督。
AutoML: 自动化机器学习，使用算法来自动化将机器学习应用于现实世界问题的过程，包括特征工程、模型选择和超参数调优。
可用性: 存储服务在客户端需要时能够响应的属性；它与已确认数据在故障后是否仍然存活、读取是否返回最新已提交版本是不同概念。
可用性攻击: 一种数据投毒攻击类型，旨在通过引入噪声或跨多个类别损坏训练数据来降低机器学习模型的整体性能。

B

后门攻击: 一种数据投毒类型，将隐藏触发器嵌入训练数据，导致模型在推理时遇到特定模式时表现出恶意行为。
补货调度: 一种调度策略：当运行较小的任务不会延迟已预留的较大任务时，在空闲时段运行较小的任务。
反向压力: 一种控制响应：当下游阶段无法维持上游到达速率时，减慢准入或限制在途工作。
反向传播: 计算神经网络梯度的算法，通过将误差信号沿层反向传播得到；对训练至关重要，但在资源受限设备上计算代价高昂。
带宽层级: 计算系统内部及系统之间的数据移动层级有序集合，从片上存储器经设备、节点、机架和 pod 互连，其带宽通常随物理距离增加而降低。
贝叶斯神经网络: 在其权重上 incorporate 概率分布的神经网络，从而支持对预测的不确定性量化和更稳健的决策。
偏见检测: 用于识别机器学习系统输出中针对不同人口统计群体的不公平歧视或差别对待的系统性方法。
偏见缓解: 旨在减少机器学习系统中不公平歧视的技术与干预措施，应用于数据采集、模型训练或后处理阶段。
仅偏置适配: 一种轻量训练策略：冻结所有模型权重，仅更新标量偏置项，大幅降低设备端学习的内存需求与计算开销。
装箱: 将具有资源需求的任务分配到固定容量的节点或集群；在 ML 集群中，这通常跨越 GPU、内存、CPU、网络局部性和拓扑。
生物多样性监测: 利用相机陷阱和传感器网络等技术对生物多样性进行系统性观测与测量，以跟踪物种种群、栖息地变化和保护成效。
二分带宽: 将网络平分为两半的任意切分所穿越的最小聚合链路容量，界定全局通信的最坏情况吞吐量。
比特翻转: 一种硬件故障：存储器或寄存器中的单个比特意外地从 0 变为 1 或反之，可能损坏数据或计算。
黑盒攻击: 一种对抗性攻击：攻击者不了解模型的内部架构、参数或训练数据，只能依靠查询模型并观察输出来进行攻击。
脑机接口: 大脑与外部设备之间的直接通信通路，通过神经信号实现对计算机或假肢的控制，代表机器学习与神经技术的融合。
内置自测试（BIST）: 硬件测试机制，使组件能够利用专用电路和预定义测试图案自行检测故障。
批量同步并行（BSP）: 一种并行执行模型：工作者先执行本地计算、通信，然后在全局屏障处等待，再进入下一步。

C

C³ 分类法: 一种诊断框架，将分布式执行的开销划分为计算、通信和协同。它识别出限制有用集群吞吐量的维度，以及优化将开销转移到何处。
缓存计时攻击: 一种侧信道攻击类型，利用内存缓存访问模式的差异来推断关于程序执行或数据的敏感信息。
金丝雀部署: 一种发布模式：将一小部分流量导向新的模型或服务版本，监控其行为，然后进行扩展或回滚。
CAP 定理: 分布式系统的一个结论：在网络分区下，系统必须在严格一致性与可用性之间做出选择。
碳感知调度: 一种计算方法：根据电网的碳强度调度 AI 工作负载，优先在可再生能源供应最充足时执行。
碳足迹: 由个人、组织、活动或产品直接和间接产生的温室气体排放总量，通常以 CO₂-当量计量。
碳强度: 与单位电力相关的温室气体排放，通常以每千瓦时 CO₂-当量克数计量。
碳使用效率（CUE）: 数据中心可持续性指标，将碳排放与 IT 能耗相关联，类似于设施能耗开销的电能使用效率。
时钟门控: 一种电路技术：向不活跃的逻辑块抑制时钟信号，从而降低动态功耗，而无需改变活动块的供电电压或时钟频率。
灾难性遗忘: 神经网络在适应新任务时丢失先前所学知识的现象，这是持续设备端学习场景中的关键挑战。
认证鲁棒性: 一种形式化保证：对于指定半径或范数界限内的所有允许扰动，模型预测保持不变。
检查点与重启机制: 周期性保存程序状态的技术，使系统在故障后能够从最后一次保存的状态恢复，从而提高系统可靠性。
分块预填充: 一种 LLM 服务技术：将长提示词处理拆分为较小的块，使预填充工作可以与解码工作交错执行。
客户端调度: 选择参与联邦学习轮次的设备的过程，依据可用性、数据质量和资源约束，以确保模型更新具有代表性。
云 ML: 使用云计算基础设施为训练和推理提供可扩展计算资源的机器学习系统，通常提供高带宽连接和可观的计算能力。
集合操作: 一种群体通信模式：所有 rank 参与，以聚合、广播或重新分发数据。
组合逻辑: 数字逻辑电路：输出仅取决于当前输入状态，不依赖任何历史状态或记忆单元。
通信强度（CI）: 跨网络传输的字节数与本地浮点运算量之比。它将算术强度推理从设备的存储层级扩展到分布式系统的网络互连结构。
复合 AI 系统: 结合多个专用模型、工具和组件的 AI 架构，通过系统性集成实现复杂能力，而非依赖单一单体模型。
Compute Express Link（CXL）: 一种缓存一致性互连标准，使 CPU、加速器与内存设备能够通过 PCIe 派生链路共享或池化内存。
概念瓶颈模型: 一种神经网络架构：先预测可解释的中间概念，再做出最终预测，将深度学习的强大能力与可解释性结合起来。
概念漂移: 输入特征与目标输出之间关系随时间的变化，需要模型进行适配以维持性能。
保护技术: 为保护与监测野生动物和生态系统而设计的技术方案，包括相机陷阱、传感器网络和卫星监测系统，用于跟踪动物行为并检测威胁。
一致性哈希: 一种基于哈希的路由方法：在增加或删除副本时，将键或会话映射到稳定副本，同时最小化重新映射。
一致性: 决定读操作在写操作重叠或副本不一致时可能观察到哪个版本的约定。
宪法式 AI: 一种训练方法：模型通过学习依据一组原则对响应进行评判来改进自身输出，从而实现迭代式自我完善，在保持有帮助性的同时减少有害内容。
持续学习: 机器学习系统从数据流中持续学习并保留先前获得知识的能力，应对神经网络中的灾难性遗忘挑战。
连续批处理: 一种 LLM 服务调度器：在迭代边界处移除已完成序列并接纳新请求，而不是等待整个批次完成。
通信—计算重叠: 数据传输与有用计算的并发执行，使通信延迟被依赖已满足的工作所隐藏。
拥塞控制: 根据负载调节流量注入或路由的机制，防止共享互连结构中持续队列、丢包和尾延迟放大。
冷却效率: 数据中心冷却系统从计算设备移除热量的效率，通常以移除热量与冷却能耗之比计量。
反事实解释: 解释模型输出在特定输入特征被修改后会如何变化，对理解决策边界尤其有用。
协变量偏移: 一种分布偏移类型：输入分布发生变化，而输入与输出之间的条件关系保持稳定。

D

数据中心: 容纳计算机系统及相关组件（如电信和存储系统）的设施，通常包括冗余电源、冷却系统和网络连接。
数据压缩: 通过编码、量化或特征提取来减少训练数据的大小与复杂度的技术，以支持在内存受限设备上的高效存储与处理。
数据并行: 一种训练策略：每个工作者持有完整模型副本，处理不同的数据分片，并在应用相同更新前同步梯度。
数据投毒: 一种攻击方法：攻击者向训练数据集中注入精心构造的恶意数据点，以有目标或系统性的方式操纵模型行为。
数据清理: 有意且永久地删除或销毁存储在内存设备中的数据的过程，使其不可恢复，从而确保数据安全。
解码阶段: LLM 推理中的自回归生成阶段，利用 KV 缓存逐步生成词元，每次生成一个，通常受内存带宽限制。
深度学习: 机器学习的一个子集，使用具有多个隐藏层的神经网络，从数据中自动学习层次化表示。
防御性蒸馏: 一种使用软标签训练学生模型以模仿教师模型行为的技术，可降低对对抗扰动的敏感性。
人口统计均等: 一种公平性准则，要求获得正向预测的概率与受保护属性所对应的群体归属无关。
Dennard 缩放: 一项历史观察：随着晶体管尺寸缩小，其功率密度保持大致恒定，因此可以增加晶体管数量，而不会使功耗按比例增加。
深度可分离卷积: 一种将标准卷积分解为逐通道操作和逐点操作的计算技术，可将参数量和计算量减少约 8–9\(\times\)，这一幅度适用于典型的 \(3{\times}3\) 高通道数移动端网络层。
差分隐私: 一种通过向计算中添加经过校准的噪声来提供形式化隐私保证的数学框架，确保纳入或排除任何个人的数据对输出的影响均受到可证明的限制。
差分隐私随机梯度下降（DP-SGD）: 一种对每个样本的梯度进行裁剪并添加经过校准的噪声，以提供差分隐私保证的训练算法。
数字鸿沟: 能够获取现代信息与通信技术的人群与无法获取这些技术的人群之间的差距，尤其影响服务不足的社区从数字解决方案中获益的能力。
数字孪生: 物理系统的虚拟表示，利用实时数据和机器学习来映射、预测并优化其对应物理系统的行为。
开销转移: 指降低分布式系统的一项成本往往会将压力转移到系统的其他部分，而非消除压力的原则。例如，减少同步屏障可以缩短协同时间，同时增加状态陈旧程度或恢复复杂度。
解耦服务: 一种服务架构，将预填充和解码工作分别安排在不同的资源池或硬件上，这些资源池或硬件针对两类工作各自的瓶颈进行了优化。
灾害响应系统: 利用机器学习，通过卫星影像分析、传感器网络和资源分配优化来检测、预测并响应自然灾害的自动化系统。
分布式检查点: 一种检查点模式，各工作节点在协同协议下并行写入各自负责的训练状态部分。
分布式知识模式: 一种面向去中心化节点之间的集体学习与推理的设计模式，强调点对点知识共享和协作式模型改进，同时保持运行独立性。
分布式追踪: 一种利用传播的追踪上下文，跨多个服务或组件追踪请求的可观测性技术。
分布式训练: 在多个计算节点或设备上训练机器学习模型的做法，旨在缩短训练时间并支持更大的模型架构。
分布偏移: 模型部署期间遇到的数据与训练分布不同的现象，可能导致模型性能下降。
分布偏移类型: 对数据分布变化的形式化分类，包括协变量偏移、标签偏移、概念漂移和域偏移，每种类型都需要特定的适应技术。
域适应: 使在一个域上训练的模型能够在另一个不同但相关的域上表现良好的机器学习技术，用于应对分布不匹配问题。
领域专用 AI 应用: 针对医疗、农业、教育或灾害响应等特定领域定制的机器学习解决方案，旨在应对各领域独特的挑战与约束。
双模冗余（DMR）: 一种容错技术，在两个独立系统上重复执行同一计算并比较其输出。输出不一致可以检测出故障，但若无其他机制，则无法识别或纠正错误结果。
两用困境: 对于既可能用于有益用途、也可能用于有害用途的技术，如何减少其滥用所带来的挑战，在 AI 安全领域尤为突出。
动态批处理: 一种服务技术，将新到达的请求在短时间内聚合成批次，以提高吞吐量，同时控制由此增加的延迟。
动态电压与频率调节（DVFS）: 一种电源管理技术，通过调整处理器的供电电压和时钟频率，在执行速度、能耗和散热余量之间进行权衡。
持久性: 指已确认的数据在存储契约所涵盖的故障发生后仍可恢复的属性。

E

边缘 AI: 将人工智能算法直接部署到智能手机、IoT 传感器和嵌入式系统等边缘设备上，从而无需连接云端即可进行实时处理。
边缘计算: 一种分布式计算范式，将计算与数据存储靠近数据源，从而实现低延迟的实时处理并降低带宽需求。
边缘机器学习: 在网络边缘执行推理、有时还执行训练的机器学习系统，通常部署在智能手机或嵌入式系统等算力受限的设备上。
边缘训练: 直接在边缘设备上训练或微调机器学习模型的过程，可在无需向云服务器传输数据的情况下实现个性化与自适应。
等代价多路径（ECMP）: 一种路由方法，将流量哈希到多条路由代价相同的路径上；持久的大流量仍可能碰撞在同一条路径上，即使其他路径仍有大量空闲容量。
弹性训练: 可随工作节点加入、离开、故障或被替换而继续进行的训练，通过调整进程组规模并重新分配状态或数据来实现。
电迁移: 导体中的金属原子在电场作用下发生移动，可能随时间导致永久性硬件故障。
隐含碳: 产品在开始运行之前，其制造、运输和安装过程中产生的全部温室气体排放。
精确一次结果: 一种应用层面的结果，重放既不会丢失也不会重复某个效果，通常借助稳定标识符以及幂等或事务性写入来实现，而非仅依赖传输层的投递。
事件时间: 事件在其来源处发生的时间，区别于系统处理该事件的时间。
涌现能力: 神经网络在特定参数阈值处突然出现的各种能力，例如推理与算术能力会不连续地涌现，而非随规模增大而逐步提升。
能效: 有用输出与能量输入之比，用于衡量系统将能量转化为所需计算工作的有效性。
能量尺度不变性: 要求将有用计算与计算、冷却和网络传输所消耗的总能量相比较进行评估。它在集群定律的时间分解之外，补充了分布式效率的能耗侧度量。
集成学习方法: 机器学习方法，通过结合多个模型的预测结果来提高准确率、鲁棒性和可靠性，相对于单个模型有所改善。
环境影响测量: 对人工智能系统生态影响的系统性跟踪与量化，涵盖完整系统生命周期内的能耗、碳排放和资源消耗。
环境监测: 利用传感器网络和机器学习系统性采集与分析环境数据，以跟踪生态系统健康、污染水平和气候变化影响。
机会均等: 一种公平性准则，关注确保各群体之间的真正阳性率相等，从而保证合格个体无论属于哪个群体都得到同等对待。
均等机会: 一种公平性定义，要求不同人口统计群体之间的真正阳性率和假阳性率相等。
纠错码: 用于数据存储与传输中检测并纠正错误的方法，可提高系统可靠性与数据完整性。
误差反馈: 一种梯度压缩技术，存储压缩残差并在后续更新中重新注入，以降低收敛误差。
ESP32: 一款广泛应用于物联网应用的低成本微控制器，配备 240 MHz 处理器和 520 KB SRAM，常用于算力受限的社会影响类应用。
精确模型窃取: 一种攻击，旨在提取机器学习模型的精确内部结构、参数与架构，从而完整复现原始模型。
经验回放: 一种基于记忆的技术，将过去的训练样本存储在缓冲区中，以防止灾难性遗忘并稳定流式或持续学习场景中的学习过程。
专家坍缩: 混合专家模型中的一种训练病理现象：只有少数专家接收到显著的训练信号，导致其他专家被闲置，并降低模型的有效容量。
专家并行: 一种针对混合专家模型的策略，将专家分布到各工作节点，并将 token 路由至所选专家。
可解释性: 利益相关方借助事后解释技术来理解机器学习模型如何产生输出的能力。
可解释人工智能: 设计为对其决策与预测提供清晰、可解释解释的人工智能系统，以应对复杂机器学习模型的“黑箱”问题。
外部记忆: 使神经网络能够访问和操作外部存储系统的机制，将其工作记忆扩展到参数存储之外，从而支持更复杂的推理与信息检索。

F

F1 分数: 一种模型准确率度量，将精确率与召回率合并为单一指标，计算方式是二者的调和平均。
公平性约束: 为机器学习系统中各人口统计群体获得公平对待而设计的技术与政策限制。
快速梯度符号法（FGSM）: 一种基于梯度的对抗性攻击，通过在梯度方向上添加微小扰动来生成对抗样本。
胖树拓扑: 一种 Clos 风格的分层网络拓扑，其聚合容量向脊节点方向增加，从而提供高二分带宽与多路径路由。
前向纠错（FEC）: 一种冗余编码方式，接收方无需重传即可重建受损链路符号，以编码开销和延迟换取高信令速率下的可靠运行。
故障注入攻击: 一种物理攻击，通过电压操纵或电磁干扰等技术故意扰乱硬件操作，以诱发计算错误并破坏系统完整性。
容错: 系统在部分组件发生故障或遇到错误时仍能继续正确运行的能力。
特征库: 用于定义、计算、存储和提供可复用机器学习特征的系统，在训练与推理中保持一致的服务。
联邦平均: 联邦学习的标准算法，依据各客户端本地数据集大小对客户端模型更新进行加权平均，从而得到全局模型。
联邦学习: 一种机器学习方法，在去中心化的数据源之间训练算法而无需将数据集中，从而提升隐私性并降低数据传输的能耗成本。
小样本学习: 一种机器学习范式，使模型仅凭少量带标签示例即可适应新任务，对数据稀疏的端侧场景至关重要。
FlashAttention: 一种分块注意力算法，避免显式生成完整的注意力矩阵，通过在线 softmax 与感知内存的块处理来降低内存流量。
集群定律: 一种分布式步时模型，将执行分解为理想划分的本地计算、通信、同步与重叠。它解释了为何继续增加加速器最终会收益递减。
集群栈: 本书对机器学习集群的分层模型，自基础设施经分布与推理服务直至治理。较低层的约束限制了其上方各层可用的选择。
FLOP/s: 每秒浮点运算次数，用于衡量系统每秒执行的浮点算术运算数量，是一种吞吐量度量。
基础模型: 如 GPT 与 BERT 等大规模预训练模型，可针对多种下游任务进行适配，作为多个应用的基础。
全切分数据并行（FSDP）: 一种切分式数据并行方法，将模型状态切分并分布到各工作节点，仅在计算需要时才收集参数。

G

** gangs 调度**: 一种调度策略，将分布式作业的所有工作节点或资源统一分配，使该作业能够作为一个整体启动并推进。
GDPR: 《通用数据保护条例》，欧盟法律，对个人数据处理施加严格要求，并显著影响隐私保护型机器学习的设计。
生成对抗网络: 一类机器学习系统，其中两个神经网络相互竞争，一个生成伪造数据，另一个尝试检测该伪造数据，从而产生高度逼真的合成数据。
通用性税: 通用处理器为支持多样化负载而付出的面积、功耗与控制开销，而非用于加速专用负载中的主导运算。
毛刺: 电压、电流或信号上的瞬时偏差，可能导致数字系统与电路产生错误操作。
治理框架: 用于管理负责任的人工智能开发的系统性方法，包括政策、程序、监督机制与问责结构。
GPU: 图形处理器，一种专用电子电路，用于快速操作与修改内存以加速图像生成及 AI 训练等并行处理任务。
GPUDirect RDMA: 一条直接数据通路，使支持 RDMA 的网络适配器能够在不经过主机内存的情况下将数据传输至或从 GPU 内存中读取。
GPUDirect Storage（GDS）: 一条存储数据通路，在存储设备与 GPU 内存之间实现直接 DMA，绕过 CPU 与主机 DRAM 的瓶颈。
梯度累积: 一种在优化器步骤或同步之前累积多个 microbatch 梯度的技术。
梯度下降: 一种优化算法，通过沿损失函数梯度的反方向迭代更新模型参数，是神经网络训练的基础。
梯度反转攻击: 一种攻击，从共享的梯度或模型更新中重建敏感的训练样本或特征。
梯度陈旧: 梯度计算时刻与梯度应用时刻之间以更新或步数计量的延迟。
绿色 AI 指标: 专门用于衡量人工智能系统环境影响的性能指标，涵盖机器学习全生命周期中的碳足迹、能效与资源利用。
绿色计算: 以环境负责任的方式设计、制造、使用和处置计算机与计算机系统。
灰盒攻击: 一种对抗性攻击，攻击者对模型仅掌握部分信息，例如知道架构但不知道具体参数或训练数据。

H

幻觉: 生成模型的一种失效形式，输出流畅且自信，但缺乏依据、系虚构或存在事实性错误。
硬件约束优化: 用于将机器学习算法与模型适配到移动与嵌入式设备的内存、计算和功耗限制之内的技术。
硬件冗余: 对关键硬件组件进行复制，以通过投票机制提供备份功能并提升系统可靠性。
硬件木马: 在制造过程中嵌入硬件组件中的恶意修改，在正常条件下保持潜伏，但在满足特定条件时触发有害行为。
心跳机制: 系统组件之间周期性发送的信号，用于监测健康状态并检测故障，从而支持及时的故障检测与恢复。
分层 AllReduce: 一种 AllReduce 分解方式，先在快速本地域内完成归约，再经由较慢的节点间或机架间链路通信。
分层处理模式: 一种设计模式，将系统划分为边缘、区域、云等层级，依据可用资源与能力分配职责，从而优化整个计算谱系中的资源使用。
高带宽内存（HBM）: 一种 3D 堆叠的 DRAM 架构，通过极宽且极短的互连提供靠近加速器的较高内存带宽。
同态加密: 一种密码学技术，允许在未解密的情况下直接对加密数据进行计算，从而支持隐私保护型机器学习推理。
热备部件: 保持待命、可在不中断系统运行的情况下即时替换故障部件的备份组件，提供冗余能力。
Huber 损失: 一种用于回归的鲁棒损失函数，相比平方误差损失对离群点不那么敏感，从而提升训练稳定性。
人机协同: 人类与人工智能系统之间的协同合作，双方各自发挥独特优势，比单独任一方更能有效地解决复杂问题。
人工监督: 一项原则，即人类判断应当监督、纠正或中止自动化决策，以维持对人工智能系统有意义的人工控制。
超参数优化: 寻找超参数（学习率、批大小、网络架构参数）最优配置的过程，这些超参数控制机器学习训练过程。

I

幂等写入: 一种写入操作，以相同稳定标识符重复执行时产生的存储结果与单次执行完全相同，从而使不确定故障后的重放成为安全操作。
影响评估框架: 用于评估人工智能部署在人道主义与发展场景中潜在社会、经济与环境影响的系统性方法。
推理: 机器学习中的一个阶段，使用训练好的模型对新的、此前未见过的数据进行预测或生成输出。
InfiniBand: 一种高性能、低延迟的互连，广泛用于 HPC 与机器学习训练集群，并原生支持 RDMA 与基于信用的流量控制。
入站拥塞: 一种多对一的流量突发，同时发送方淹没单一目的地的出口或接收方，迅速填满共享缓冲区并推高尾延迟。
间歇性故障: 发生得零星且不可预测的硬件故障，出现与消失之间没有稳定模式，使得诊断困难。
可解释性: 人类能够理解机器学习模型预测背后推理程度的高低，常指那些本身具有透明性的模型。
物联网传感器: 物联网设备，用于采集并传输环境或行为数据，通常运行在有限的功耗预算下，并采用低带宽通信协议。

K

k-匿名性: 一种隐私保证，在泛化或抑制准标识符后，每条已发布记录都无法与至少 \(k - 1\) 条其他记录区分。
知识蒸馏: 一种技术，大型复杂的“教师”模型将其学到的知识迁移至更小、更高效的“学生”模型，在保持性能的同时降低计算需求。
KV 缓存: 一种内存缓冲区，用于存储先前计算出的 transformer 键与值张量，使自回归生成无需为每个 token 重新计算注意力历史。

L

标签偏移: 一种分布偏移类型，其中目标标签的分布 \(p(y)\) 发生变化，而类别条件特征分布 \(p(x \mid y)\) 保持不变。
大语言模型（LLMs）: 在海量文本语料上训练出的具有数十亿或数千亿参数的神经网络，能够在多个领域与任务中理解并生成类人文本。
生命周期评估: 一种系统评估产品或系统在整个生命周期内环境影响的方法，涵盖从原材料开采到废弃处理的完整过程。
灯塔架构: 一种反复使用的工作负载，用于暴露某个系统层面的约束，贯穿各章。该架构保持连续性，同时允许每章从不同的工程视角考察同一工作负载。
负载均衡: 专家模型中用于确保计算负载与训练信号在专家之间均匀分布的技术，从而防止专家坍塌并维持模型效率。
LogP 模型: 一种通信模型，用延迟、开销、间隔和处理器数量来表示消息传递与重叠，以便进行推理。
查找表: 一种数据结构，用更简单的数组索引操作替代运行时计算，常用于性能优化。
LoRa: 一种低功耗、广域的物理层无线电调制。LoRaWAN 是使用 LoRa 无线电的网络协议；可达范围取决于频率规划、发射功率、天线、地形、干扰和链路预算。
低秩适配: 一种参数高效的微调方法，用低秩矩阵近似权重更新，从而减少可训练参数，同时保持适配能力。

M

机器意识: 人工系统中意识涌现的假想情形，代表一个前沿研究领域，探讨机器是否能够发展出主观体验。
机器学习: 人工智能的一个子集，使计算机能够从数据中学习并做出决策，而无需针对每个具体任务进行显式编程。
机器学习集群: 由加速器、存储、网络互连结构和控制软件组成的分布式系统，被设计为作为一个连贯的计算机器运行。
机器学习生命周期: 开发、部署和维护机器学习系统的完整过程，涵盖从数据采集到模型退役。
机器学习运维（MLOps）: 通过自动化流水线可靠、高效地部署和维护机器学习模型的生产实践。
机器学习安全: 在整个机器学习生命周期中，保护数据、模型和基础设施免受未经授权的访问、篡改或干扰。
机器遗忘: 从已训练模型中移除特定数据点影响的技术，无需完全重新训练，支持数据删除权。
边际排放: 由电力需求的增量增加所导致的排放，通常来自电网中下一个被调度的发电机组。
平均无故障时间（MTBF）: 可修复部件或系统中相邻两次故障之间的预期运行时间。
兆瓦时: 能量单位，等于一兆瓦功率持续一小时所消耗的能量，常用于计量数据中心等大型设施的用电量。
成员推断攻击: 一种隐私攻击，通过分析模型的行为和输出，试图判断某个特定数据点是否被纳入模型的训练数据集。
元学习: 学习如何学习的过程，模型被训练为以最少数据快速适应新任务，尤其适用于端侧系统的个性化。
微控制器: 一种紧凑型集成电路，用于控制嵌入式系统中的特定操作，通常具有有限的处理能力和内存，但针对低功耗和实时应用进行了优化。
极小极大: 博弈论中使用的决策策略，试图在对抗性场景中最小化最大可能损失。
混合精度训练: 一种技术，为神经网络训练的不同部分使用不同的数值精度，通常结合 16 位和 32 位浮点运算，以降低内存使用并提高训练速度。
专家混合: 一种架构方法，使用多个专用子模型（专家）配合门控机制将输入路由到最相关的专家，从而在保持稀疏性的同时实现高效扩展。
移动机器学习: 针对智能手机和平板电脑等移动设备优化的机器学习系统，在端侧处理中平衡计算效率与推理精度。
移动优化架构: 专门为移动部署设计的神经网络架构，强调参数效率、计算速度和能耗节约。
MobileNet: 一个面向移动设备的高效神经网络架构家族，使用深度可分离卷积实现模型规模和计算量的显著降低。
模式坍塌: 生成模型中的一种失效模式，模型仅产生有限种类的输出，忽略了训练数据中的多样性，未能捕捉完整分布。
模型卡片: 文档框架，为机器学习模型提供结构化信息，包括预期用途、性能特征和局限性。
模型压缩: 通过量化、剪枝和知识蒸馏等方法降低机器学习模型的规模和计算需求的技术，以支持在资源受限设备上部署。
模型提取: 通过系统性地查询模型 API 观察其输入输出行为，从而窃取或重建机器学习模型的过程。
模型 FLOPs 利用率（MFU）: 硬件峰值 FLOP/s 中用于有效模型计算的比例（按墙钟时间衡量），用于衡量持续训练或服务的效率。
模型反演攻击: 一种攻击，通过分析模型的输出和置信度分数，试图重建训练数据或推断关于数据集的敏感信息。
模型剪枝: 从已训练神经网络中移除不必要的权重、神经元或连接的过程，以降低其规模和计算需求。
模型量化: 一种降低模型参数精度（通常从 32 位降至 8 位或更低）的技术，从而减小模型规模和计算需求，同时保持可接受的精度。
模型注册表: 模型制品、版本、元数据、血缘、依赖关系和生命周期状态的中央目录。
模型不确定性: 机器学习模型无法充分捕捉底层数据生成过程全部复杂性的不足，导致预测不确定性。
模型水印: 一种将可验证的所有权签名嵌入机器学习模型的技术，可用于检测未经授权使用或证明知识产权盗窃。
Monte Carlo 丢弃: 一种技术，在推理时以不同的丢弃掩码执行多次前向传播，以估计预测不确定性。
摩尔定律: 观察到的现象：单片微芯片上的晶体管数量约每两年翻一番，在历史扩展假设下降低了每个晶体管的成本。
多智能体方法: 一种系统架构，多个 AI 智能体协作、协商或竞争以解决复杂问题，从而在不同组件间实现分工和专业化能力。
多实例 GPU（MIG）: NVIDIA 将一块 GPU 划分为具有独立计算和内存资源的隔离硬件切片的一种机制。
多校准: 一种公平性技术，确保模型预测在相互交叉的子群体之间保持一致校准，以应对复杂的 demographic 交互。
多模态 AI: 能够同时处理和理解多种类型数据的 AI 系统，如文本、图像、音频和视频，从而实现更全面的理解与交互。

N

窄人工智能: 设计用于出色完成特定、定义明确任务的 AI 系统，但缺乏在多样化问题领域之间泛化的能力，与通用人工智能形成对比。
NCCL: NVIDIA Collective Communications Library，一种面向拓扑感知的集合通信 GPU 通信库。
神经网络架构搜索: 用于设计最优神经网络架构的自动化方法，利用算法探索可能的网络设计空间并找出表现最佳的结构。
神经网络引擎: 专为机器学习推理和训练设计的专用硬件加速器，如 Apple 的 Neural Engine 或 Google 的 Edge TPU，针对端侧 AI 工作负载进行了优化。
神经网络: 一种受生物神经网络启发的计算模型，由互联节点（神经元）按层组织，能够从数据中学习复杂模式。
神经网络处理单元（NPU）: 用于神经网络工作负载的专用加速器，通常针对边缘设备上的低功耗矩阵和张量运算进行优化。
网络互连结构: 连接计算节点并决定分布式通信带宽、延迟和失效行为的链路、交换机、路由和传输机制。
非阻塞互连结构: 一种网络，其内部容量允许任意可行的端点对组合以满线速率通信，而互连结构内部不存在拥塞。
类脑计算: 受生物神经网络结构和功能启发的计算架构，设计用于比传统数字计算机更高效地处理信息。
非独立同分布数据: 样本既不独立、也不同分布，或两者兼有的数据。跨设备或时间，客户端可能来自不同的分布，为联邦学习的收敛与泛化带来挑战。
非易失性内存扩展（NVMe）: 一种面向通过 PCIe 挂载的 SSD 的高性能协议，常用作机器学习存储层级中的本地缓存或检查点暂存层。
NVLink: 一种高带宽的 NVIDIA 互连，用于节点内 GPU 到 GPU 的通信。

O

对象存储: 一种存储模型，将数据作为带元数据并通过网络 API 访问的对象进行管理，常用于持久且成本较低的容量。
端侧学习: 直接在已部署的硬件设备上进行的本地模型适配或训练，不依赖与集中服务器的持续连接。
运行碳: 系统在运行过程中产生的排放，主要来自训练、推理、冷却和设施运营期间消耗的电力。
超额订阅: 一种拓扑设计，其中聚合的下游容量超过上游容量，从而降低交换机成本，但在并发流量下形成共享带宽瓶颈。
算子融合: 一种优化，将相邻操作合并为更少的内核，使中间值保留在芯片上，从而降低内存流量或启动开销。
编排: 对集群资源和工作负载的协调，包括调度、放置、扩展、排序、恢复以及跨分布式基础设施的资源分配。
氧化层击穿: 晶体管中氧化层因电场应力过大而失效，导致永久性硬件故障。

P

PagedAttention: 一种 KV 缓存内存管理技术，将逻辑 token 块映射到非连续的物理 GPU 内存页，以减少碎片。
并行文件系统（PFS）: 一种分布式文件系统，将数据跨多个存储服务器分条，以提供超过单设备的聚合吞吐量。
分区倾斜: 记录或键的分布不均，导致某个分布式流水线分区承担不成比例的负载，并决定该阶段的完成时间。
参数: 机器学习模型中的可学习变量，例如神经网络中的权重和偏置，在训练期间被调整以优化性能。
参数高效微调（PEFT）: 适配方法，仅更新一小部分参数或新增模块，同时保持大部分预训练权重冻结。
永久性故障: 硬件缺陷，会不可逆地持续存在直至修复或部件更换，并一致地影响系统行为。
个性化层: 模型组件，通常是最后的分类层，被本地适配为面向用户特定数据，同时保持共享骨干层冻结。
物理攻击: 直接操纵或篡改计算硬件以破坏机器学习系统的安全性和完整性，绕过传统软件防御。
流水线并行: 一种分布式训练策略，将层划分为顺序阶段，并使用微批次在各设备间重叠工作。
时点连接: 一种连接，按事件时间戳检索特征值，从而防止训练集中出现未来数据泄漏。
事后解释: 模型训练后应用的解释方法，将模型视为黑箱，并从输入输出行为推断推理模式。
电源使用效率: 用于确定数据中心能效的指标，计算为设施总能耗与 IT 设备能耗之比。
精准农业: 利用包括 GPS、传感器和机器学习在内的技术，通过精确监测和管理水、化肥和农药等作物投入来优化耕作实践。
预填充阶段: LLM 推理的初始阶段，处理提示词并填充 KV 缓存，通常由计算主导。
最小权限原则: 一种安全概念，用户仅被授予完成其职能所需的最低访问级别，从而降低安全风险。
优先级流量控制（PFC）: 一种以太网链路层机制，按优先级类别暂停流量以防止丢包，从而以运行成本实现无丢包 RoCE。
隐私预算: 差分隐私中的一个概念，表示所有查询或计算允许发生的隐私损失总量，每次操作消耗其中一部分有限预算。
隐私保护机器学习: 使机器学习得以开展同时保护训练或推理所用个人数据隐私的技术与方法。
隐私保护技术: 旨在保护机器学习中的个人隐私的方法，包括差分隐私、联邦学习和本地处理。
隐私—效用权衡: 在保护个人隐私与保持数据对机器学习的效用之间的根本张力，需要通过差分隐私等技术进行谨慎权衡。
渐进增强模式: 一种设计模式，在最低资源条件下建立基础功能，并随着更多资源可用而逐步纳入高级功能。
投影梯度下降（PGD）: 一种基于梯度的迭代对抗攻击，反复扰动输入并将其投影回允许的范数球内。
提示词工程: 设计与优化文本提示词的实践，以有效与大型语言模型通信并从 AI 系统获得期望输出。
提示词注入: 一种攻击，嵌入在用户或检索内容中的对抗性指令导致 LLM 忽略既定约束。
剪枝: 一种模型压缩技术，从神经网络中移除不必要的连接或神经元，以在不显著影响性能的前提下减小模型规模和计算需求。

Q

量化: 将模型权重和激活值从浮点表示降低到更低比特表示的过程，以降低内存占用并加速边缘设备上的计算。
感知量化训练（QAT）: 一种模拟低精度算术的训练方法，使模型在部署后使用量化权重或激活值时仍能保持精度。
量子机器学习: 量子计算与机器学习的交叉领域，探讨量子算法和量子计算机如何增强或变革机器学习任务。

R

面向轨线的拓扑: 一种集群布线模式，通过专用网络轨连接各节点间对应的加速器秩，使物理路径与可预测的集合通信流量相匹配。
随机平滑: 一种认证防御方法，通过对输入添加噪声后的版本进行分类，以获得概率性鲁棒性保证。
RoCE（RDMA over Converged Ethernet）: 一种协议，在以太网上传输远程直接内存访问语义，依赖对低丢包或无丢包行为的精心管理。
ReduceScatter: 一种集合通信操作，在各秩之间对输入执行归约，并将归约结果的各个不同分片散列回各秩。
正则化: 机器学习中用于防止过拟合的方法，通过在损失函数中添加惩罚项来约束模型复杂度。
可靠性缺口: 组件可靠性与大型、强耦合任务中所有必需组件都保持可用的概率之间的差异，后者低得多。该缺口随集群规模和任务时长增加而扩大。
远程直接内存访问（RDMA）: 一种网络机制，使一台机器无需经由内核在中断路径上进行拷贝即可读取或写入另一台机器的内存。
可再生能源: 从自然补充的可再生资源中收集的能量，包括太阳能、风能、水电、地热和生物质来源。
资源受限环境: 计算能力、网络带宽或电力可用性受到限制部署场景，通常需要使用专门的系统设计和技术优化方法。
资源悖论: 社会影响应用中面临的挑战：需求最大的地区往往缺乏传统技术部署所需的基础设施，需要创新的工程解决方案。
负责任的人工智能: 以合乎伦理、公平、透明且有利于社会的方式开发和部署人工智能系统，同时尽可能减少潜在危害和偏见。
奖励黑客: 人工智能系统利用奖励函数中未被预期的方面来最大化分数，同时违背预期目标的现象。
环形 AllReduce: 一种带宽高效的 AllReduce 算法，将秩排列成逻辑环，并使用归约—散列加全收集阶段。
RLHF: 基于人类反馈的强化学习——一种利用人类偏好引导模型行为的训练方法，使人工智能系统更好地与人类价值观和意图保持一致。
鲁棒人工智能: 人工智能系统在内部错误、外部扰动和环境变化下保持性能与可靠性的能力。
鲁棒性: 模型在输入变化、环境变化或对抗条件下保持稳定且一致性能的能力。
鲁棒性指标: 用于评估模型在各种扰动下稳定性的定量指标，包括对抗准确率、认证鲁棒性界，以及分布偏移下的性能。
山脊点: roofline 模型中性能从带宽受限过渡到计算受限的算术强度，等于峰值计算吞吐量除以内存带宽。
roofline 模型: 一种性能模型，将算术强度与峰值计算能力和内存带宽进行比较，以识别计算受限和带宽受限的形态。

S

规模时刻: 工作负载超出单台机器、转而由集群级通信、可靠性、能量和协同约束所支配的定性转变点。
规模定律: 数学关系，展示了模型规模、数据集规模、计算预算与性能之间的幂律缩放，表明增加资源可带来可预测的性能提升。
扫描链: 处理器中的专用测试路径，为全面的硬件测试和故障检测提供对内部寄存器和逻辑的访问。
范围 1 排放: 组织拥有或控制的来源直接产生的温室气体排放，例如现场燃料燃烧和公司车辆。
范围 2 排放: 组织所消耗的购买电力、蒸汽、供暖或制冷在生产过程中产生的间接温室气体排放。
范围 3 排放: 组织价值链中发生的所有其他间接温室气体排放，包括制造、运输和报废处置。
符号速率: 链路上每秒传输的符号数；多级调制在每个符号中承载多个比特，而不会使这一物理跃迁速率按比例增加。
交换器端口数: 网络交换器上的端口数量，它限制了端点扇出、拓扑深度以及给定集群规模所需的交换层级数量。
安全聚合: 一种密码学协议，使联邦学习服务器能够在不访问各个客户端贡献的情况下计算聚合模型更新，从而增强隐私保护。
安全启动: 一种由硬件支持的启动过程，在执行前对固件和软件进行密码学验证。
安全计算: 密码学协议，使多方能够在不向彼此泄露各自私有输入的情况下联合计算这些输入上的函数。
多方安全计算: 一种密码学方法，使多方能够在不向彼此泄露各自私有输入的情况下联合计算这些输入上的函数。
选择性计算: 计算策略，根据输入复杂度或当前需求动态分配处理资源，通过避免不必要的计算来提高效率。
自我精化: 一种训练方法，模型通过评价和精化自身的初始响应来迭代改进输出，从而实现持续改进并更好地与期望行为保持一致。
自监督学习: 一种机器学习范式，模型通过从输入的其他部分预测输入的一部分，从无标注数据中学习表示，从而降低对人工标注数据集的依赖。
服务级别目标（SLO）: 服务行为的可测量目标，例如延迟、新鲜度、可用性或模型质量。
SHAP: SHapley Additive exPlanations，一种基于合作博弈论中 Shapley 值的特征归因框架。
分片检查点: 一种检查点方法，每个工作节点仅保存其被分配给自身的模型、梯度或优化器分片。
侧信道攻击: 一种利用计算系统物理实现中泄漏的信息发起的攻击，例如功耗、电磁辐射或时序变化。
静默数据损坏（SDC）: 计算或数据传输过程中未被检测到的错误，这些错误会在系统各层之间传播而不会触发告警，可能损害结果。
小农户: 在面积小于 2 公顷的耕地上经营的农户，他们生产全球粮食供应的重要部分，但往往缺乏现代农业技术和信贷。
社会影响测量: 对人工智能应用如何影响社区和个人的系统性评估，包括可及性、公平性、有效性和非预期后果等指标。
软件故障: 由缺陷、bug 或设计疏漏导致的软件系统非预期行为，可能损害性能或危及安全性。
稀疏训练: 一种训练方法，在整个训练过程中保持神经网络权重的稀疏性，从而降低计算需求和内存占用。
稀疏更新: 一种训练策略，根据参数的重要性或对性能的贡献，仅选择性更新模型参数子集，从而降低计算和内存开销。
规格博弈: 人工智能系统找到出乎意料的方式来实现高奖励，这些方式在技术上满足目标函数，但违背了预期目的。
投机解码: 一种服务优化，较小的草稿模型提出令牌，较大的目标模型并行验证这些令牌。
投机执行: 处理器中的一种性能优化，在执行指令确认其是否被需要之前先执行，这可能无意地通过微架构侧信道泄露敏感数据。
陈旧同步并行（SSP）: 一种同步模型，允许较快的工作节点在较慢的工作节点之前推进有限数量的步。
状态空间模型: 一类神经架构，通过维护压缩的内存表示并增量更新来处理序列，相比 Transformer 注意力机制具有线性缩放优势。
随机计算: 计算技术，利用随机比特和概率运算执行算术运算，可能比传统方法提供更好的容错性。
拖慢者: 正确但缓慢的工作节点，会拖慢分布式任务中其余部分的同步进度。
常陷故障: 一种永久性硬件故障，信号线无论输入如何都固定在逻辑 0 或 1，导致计算结果错误。
供应链攻击: 一种在制造、分发或集成过程中破坏硬件或软件组件的攻击，可能影响多个下游系统。
可持续人工智能: 开发和部署人工智能系统的实践，在保持有效性和可及性的同时最大限度地减少环境影响。
可持续发展目标: 联合国采纳的 17 项全球目标，旨在到 2030 年前应对紧迫的社会、经济和环境挑战，为具有社会公益的人工智能应用提供框架。
群体智能: 由去中心化、自组织系统涌现出的集体智能，常受生物群体启发，并应用于分布式机器学习系统和机器人技术。
同步紧耦合: 一种执行模式，工作节点必须协调共享进度，通常在同步屏障处进行，因此一个缓慢或失败的参与者可能拖慢整个任务。
脉冲阵列: 由处理单元组成的规则网格，在相邻单元之间传递操作数和中间结果，从而以有限的片外数据移动实现高吞吐矩阵运算。
合成数据生成: 创建人工数据集，近似真实数据的统计特性，同时降低隐私风险并避免直接暴露敏感信息。
系统级可持续性: 一种整体性的环境责任方法，考虑从数据中心到边缘设备在内的整个人工智能基础设施生态系统，而不是孤立地优化各个组件。

T

尾延迟: 高百分位请求延迟，例如 P99，用于捕捉影响分布式服务可靠性的罕见慢响应。
定向攻击: 一种数据投毒攻击类型，旨在使特定输入或类别被错误分类，同时基本保持模型的整体性能不变。
Tensor Core: 一种专为混合精度张量运算优化的专用矩阵乘加硬件单元。
张量并行: 一种模型并行策略，将张量运算或层权重拆分到各设备，并通过集合通信合并部分结果。
热设计功耗（TDP）: 冷却系统被设计为在处理器或加速器的规定工作包络下持续移除的热负荷。
热应力: 由反复在高低温度之间循环造成的硬件劣化，导致材料疲劳和潜在故障。
威胁建模: 一种结构化的安全分析，识别系统的资产、攻击者能力、攻击路径和防御优先级。
每个输出令牌的耗时（TPOT）: 首个生成令牌之后的每个令牌延迟，控制流式大语言模型输出的节奏。
首令牌时间（TTFT）: 从请求到达至首个生成令牌出现之间的延迟。
TinyML: 一个专注于将机器学习模型部署到微控制器和极资源受限设备上的领域，这些设备仅有千字节级内存和毫瓦级功耗。
感知拓扑调度: 一种布局方式，考虑 GPU 与互连的局部性，例如 NVLink 域、机架、轨线或交换器层级。
TPU: Tensor Processing Unit，由 Google 专门开发的专用人工智能加速器芯片，专为机器学习工作负载设计，尤其是神经网络计算。
训练: 向机器学习模型展示示例并依据性能反馈调整其参数，从而教会模型进行预测的过程。
训练—服务偏差: 训练阶段与服务阶段在特征或数据计算上的不一致，导致生产输入与模型所学到的内容不同。
迁移学习: 一种机器学习技术，利用预训练模型在一个任务上学到的知识来改进相关任务的学习，从而在数据有限的情况下实现高效适应。
Transformer: 一种使用自注意力机制处理序列数据的神经网络架构，构成许多现代语言模型的基础。
Transformer 架构: 一种基于注意力机制的神经网络架构，已彻底改变自然语言处理，并越来越多地应用于计算机视觉等其他领域。
瞬态故障: 临时硬件故障，不会持续或造成永久性损坏，但若处理不当可能导致计算结果错误。
透明度: 关于人工智能系统如何构建、训练、验证和部署的开放性，包括披露数据来源、设计假设和局限性。
Tree AllReduce: 一种 AllReduce 算法，使用树形归约和广播阶段以降低延迟，通常以带宽效率为代价。
三重模冗余（TMR）: 一种容错技术，运行计算的三个副本并使用多数表决来屏蔽一个独立的错误结果；它不保证在多重或共模故障下正确。
可信执行环境: 处理器内的安全区域，为代码和数据提供基于硬件的保护，确保即使来自特权系统软件也能保证机密性和完整性。
两阶段提交（2PC）: 一种协调协议，包含准备和提交阶段，确保参与者原子提交或中止。

V

价值对齐: 人工智能系统应追求与人类意图和伦理规范一致的目标的原则，涉及将人类价值观编码进机器目标这一挑战。
价值敏感设计: 一种通过系统性的利益相关方参与和对系统影响的伦理考量，将人类价值观纳入技术设计的方法论。
虫媒传染病: 由昆虫或其他媒介传播的疾病，例如由蚊子传播的疟疾，可以使用基于机器学习的检测系统进行监测和控制。
视觉—语言模型: 能够同时理解和推理视觉与文本信息的人工智能系统，使图像描述、视觉问答和多模态理解等任务成为可能。

W

仓库级计算机（WSC）: 一种按整栋建筑规模运行的计算系统，作为一台连贯机器使用，将网络互连结构和存储层级视为系统级资源。
晶圆级引擎（WSE）: 一种加速器架构，在硅片的大部分或全部区域集成计算、内存和通信，以降低跨越独立封装边界的带宽和延迟成本。
看门狗定时器: 一种硬件组件，监控系统执行，并在系统无响应或卡死时触发恢复动作。
水印: 流式系统对事件时间是否已推进到足以关闭窗口的估计，并针对稍后到达的事件采用显式策略。
用水有效性: 衡量数据中心用水效率的指标，计算为总用水量的比值与 IT 设备能耗。
权重冻结: 一种技术，在训练期间固定大部分模型参数，仅允许特定层或组件更新，从而降低设备端适应的计算需求。
白盒攻击: 一种对抗性攻击，攻击者完全了解模型的架构、参数、训练数据和内部工作机制，从而能够实施高度有效的攻击策略。

Z

ZeRO（Zero Redundancy Optimizer）: 一种内存缩减技术，将优化器状态、梯度以及可选的参数分片到数据并行工作节点。
零日漏洞: 软件或硬件中此前未知的安全缺陷，攻击者可以在开发者有机会编写和分发补丁之前加以利用。
零样本学习: 机器学习模型在缺少任务特定训练示例的情况下执行任务或识别类别的能力，通常使用预训练期间学到的表示。

回到顶部