术语表

本术语表定义了本书使用的关键术语，并将其汇集为便于查阅的简明参考。术语按英文字母顺序排列，便于读者结合各章内容查阅。

3

3DMark: 一套用于评估实时 3D 渲染能力的图形性能基准测试套件，测量三角形吞吐量、纹理填充率，以及光线追踪和 DLSS 等现代功能的性能。

A

A/B 测试: 一种受控实验方法，通过将用户随机分组并测量不同版本之间的性能差异，比较系统或模型的两个版本。
消融研究: 每次移除、禁用或隔离一个组件，以测量其对模型或系统行为贡献的实验。
基于激活值的剪枝: 一种剪枝方法，通过评估神经元或滤波器在数据集上的平均激活值，识别并移除那些持续产生低激活值、对网络决策过程贡献很少信息的神经元。
激活检查点: 一种内存优化技术，通过选择性地丢弃并重新计算激活值，而非存储所有中间结果，减少反向传播期间的内存使用量。
激活函数: 应用于神经网络神经元输入加权和的数学函数，用于引入非线性，使网络能够学习超越简单线性组合的复杂模式。
激活内存: 用于存储训练期间梯度计算所需的中间层输出的内存，其用量随批量大小、序列长度和模型深度而变化。
主动学习: 一种根据模型不确定性，智能选择信息量最大的样本供人工标注的方法，从而减少有效训练所需的标注数据量。
Adam 优化: 一种自适应学习率优化算法，通过为每个参数维护梯度及梯度平方的指数衰减平均值，结合动量法与 RMSprop。
AdamW: Adam 的一种变体，将权重衰减与自适应梯度更新解耦，在保留优化器自适应矩估计的同时改善正则化效果。
人工智能三要素: 一种将机器学习系统建模为三个相互依赖组件的框架：引导行为的数据、学习模式的算法，以及支持训练和推理的计算基础设施。任何一个组件的局限都会制约其他组件的能力。
告警: 自动化通知系统，在生产环境中的机器学习系统指标超出预设阈值或检测到异常时通知团队。
AlexNet: 一种具有里程碑意义的卷积神经网络架构，在 2012 年 ImageNet 挑战赛中夺冠，将错误率从 26% 降至 16%，并引发了深度学习的复兴。
AllReduce: 分布式计算中的一种集合通信操作，每个进程提供数据，所有进程均接收合并后的结果，常用于分布式训练中的梯度聚合。
全互连通信: 一种通信模式，每个设备或进程都与其他所有设备或进程交换数据，常见于分片嵌入和专家并行工作负载。
AlphaFold: DeepMind 开发的具有里程碑意义的人工智能系统，可根据氨基酸序列预测许多蛋白质的三维结构。它在并未解决所有折叠问题的情况下实现了准确性的突破，展示了大规模机器学习系统如何加速科学发现。其预测结果仍需结合置信度解读，且在许多用途下需要实验验证。
阿姆达尔定律: 一种加速比上界，表明整体性能提升受工作负载或流水线中仍需串行执行或尚未优化的部分限制。
AOT 编译: 即提前编译，在部署或执行之前，将模型、图或程序转换为优化后的可执行代码，以牺牲灵活性为代价降低运行时开销。
Apache Kafka: 一种分布式流处理平台，使用发布—订阅消息系统处理实时数据流，常用于构建具备高吞吐量和容错能力的机器学习数据流水线。
Apache Spark: 一种开源分布式计算框架，支持在计算机集群上进行大规模数据处理，凭借内存计算能力革新了 ETL 操作。
专用集成电路（ASIC）: 为特定计算任务设计的定制芯片，通过舍弃通用灵活性，提供优于通用处理器的性能和能效。示例包括 Google 的 TPU、Cerebras 晶圆级引擎和比特币挖矿 ASIC。
架构效率: 模型优化的一个维度，关注如何通过利用稀疏性、分解大型组件，以及根据输入复杂度动态调整计算，在训练和推理期间高效执行计算。
算术强度: 浮点运算次数与所访问内存字节数之比（FLOP/byte），用于 Roofline 分析，以确定工作负载受内存限制还是受计算限制，并指导优化优先级。
通用人工智能: 旨在广泛的认知任务上达到人类水平表现的人工智能系统；该术语没有普遍认可的能力阈值，也不意味着采用某种特定架构。
人工智能: 计算机科学的一个领域，专注于创建能够执行通常需要人类智能的任务的系统，例如感知、推理、学习和决策。
人工神经网络: 一种受生物神经网络启发的计算模型，由按层组织且相互连接的节点（神经元）组成，能够通过可调节的权重和偏置从数据中学习模式。
人工神经元: 神经网络中模拟生物神经元的基本计算单元，接收多个输入，应用权重和偏置，并通过激活函数产生输出信号。
注意力机制: 一种神经网络组件，根据元素的内容计算它们之间的加权连接，使网络能够动态关注输入中的相关部分，而非依赖固定的架构连接。
AUC: ROC 曲线下面积，一种不依赖特定阈值的分类指标，比较不同决策阈值下的真正率和假正率。
审计追踪: 一种仅可追加的记录，记载谁在何时访问或更改了数据、模型或系统产物，用于支持责任追溯、调试和合规。
自动求导记录带: 在前向执行期间构建的临时记录，包含操作及保存的值，使反向模式自动微分能够在反向传播阶段计算梯度。
自动微分: 一种计算技术，通过在基本操作层面系统地应用链式法则，自动计算以计算机程序实现的函数的精确导数，是通过基于梯度的优化训练神经网络的关键。
自动混合精度: 一种训练技术，自动管理不同数值精度（FP16、FP32）的使用，在保持模型准确性的同时优化内存使用量和计算速度。
AutoML: 即自动化机器学习，通过自动完成架构搜索、超参数优化和特征选择等模型设计决策，减少人工工作量。
自动扩缩容: 根据工作负载需求动态调整计算资源，在使用高峰期自动扩容，在低谷期自动缩容，以优化成本和性能。

B

反向传播: 一种通过将误差信号沿网络各层反向传播，计算损失函数相对于网络权重的梯度的算法，使训练期间能够系统地更新权重。
反向传播阶段: 训练中将梯度从损失沿网络反向传播，以计算参数梯度的阶段，与前向传播阶段相对应。
带宽: 通信信道或内存接口的最大数据传输速率，通常以字节每秒计量，对优化人工智能加速器中的数据移动至关重要。
批量推理: 对大型数据集集中执行推理的过程，通常作为定时作业运行，与针对单个请求的实时推理相对应。批量推理通过在多个输入之间分摊开销，实现更高的吞吐量。
批量摄取: 一种按预定时间间隔成组或分批收集并处理数据的数据处理模式，适用于实时处理并非关键要求的场景。
批量归一化: 一种将各层输入归一化为零均值、单位方差的技术，可稳定训练，且通常支持更高的学习率和更快的收敛；随后应用可学习的缩放和平移，以保留表示能力。
批处理: 同时处理多个数据样本，以分摊计算和内存访问成本的技术，可提高神经网络训练和推理的整体吞吐量。
批量大小: 神经网络训练的一次迭代中同时处理的训练样本数量，同时影响计算效率和梯度估计质量。
批量吞吐量优化: 在同时处理多个输入时，利用并行性和批处理效率，最大化单位时间内处理样本数量的技术。
批量运算: 同时处理多个输入的矩阵计算，通过将矩阵—向量运算转换为效率更高的矩阵—矩阵运算，提高硬件利用率。
基准测试工程: 系统地设计和开发性能评估框架，涉及测试框架构建、指标选择和结果解读方法。
基准测试框架: 一种系统化的基础设施组件，在受控条件下控制测试执行、管理输入供给并收集性能测量结果，以确保评估可复现。
基准测试: 对机器学习系统的计算性能、算法有效性和数据质量进行系统性评估，以优化各类工作负载下的性能，并确保可复现性。
BERT: 即基于 Transformer 的双向编码器表示，是 Google 于 2018 年提出的一种基于 Transformer 的语言模型，通过掩码语言建模预训练革新了自然语言处理。
BF16: Google Brain 开发的一种 16 位浮点格式，保持与 FP32 相同的动态范围，但精度较低，因此特别适合深度学习训练。
偏置: 加到每个神经元加权和上的可学习参数，用于平移激活函数，使神经元即使在所有输入均为零时也能激活，并为网络拟合复杂模式提供额外的灵活性。
二值化: 一种极端量化技术，将神经网络权重、激活值或两者都缩减为二值（通常为 -1 和 +1），实现最大程度的压缩，但通常需要专门的训练流程和硬件支持。
生物神经元: 神经系统中通过电信号和化学信号接收、处理及传递信息的细胞，是人工神经网络的灵感来源。
苦涩的教训: Richard Sutton 于 2019 年提出的观察：利用计算的通用方法持续优于编码人类专业知识的方法，这表明支持计算规模扩展的系统工程是人工智能进步的核心。
黑箱: 输入和输出可观测，但内部运行机制无法访问或不透明的系统。当系统作出影响重大的决策却不解释其推理过程时，这种不透明性尤其成问题。
BLAS: 即基础线性代数子程序，是一套低层例程规范，用于执行向量加法、标量乘法、点积和矩阵运算等常见线性代数操作，构成现代机器学习框架的计算基础。
块稀疏矩阵: 非零值以稠密块而非孤立元素形式出现的稀疏矩阵，保留了硬件内核能够高效利用的结构。
蓝绿部署: 一种使用两个生产环境的部署策略，使流量能够切换到经过验证的新版本，同时保留旧版本以供回滚。
边界框: 一种矩形标注，通过在每个目标对象周围绘制方框来标识图像中的对象位置，常用于计算机视觉训练数据集。
脆弱性: 基于规则的人工智能系统在遇到超出其预编程场景的输入时彻底失效的倾向，无论这些输入与其设计处理的输入多么相似。

C

缓存: 一种将频繁访问的数据存储在高速存储系统中的技术，用于降低检索延迟，并提高机器学习流水线的系统性能。
缓存分配器: 一种框架内存管理器，通过复用设备内存块，而非为每个张量都调用硬件分配器，降低分配延迟和内存碎片化程度。
校准: 训练后量化中分析代表性数据集的过程，用于确定包括缩放因子和零点在内的最优量化参数，以尽量减少从高精度转换为低精度时的准确性损失。
金丝雀部署: 一种部署策略，在全面发布前，将少量比例的生产流量分配给新模型版本，以验证其行为，从而在尽量减少用户影响的情况下及早发现问题。
CAP 定理: 一项分布式系统原理，指出在发生网络分区时，数据存储无法对每个请求同时保证线性一致性和可用性。
碳足迹: 训练和运行机器学习系统直接及间接产生的温室气体排放总量，通常以 CO\(_2\) 当量计量。
碳强度: 单位能源消耗产生的排放量，通常以 kg CO₂e/kWh 计量，用于将机器学习的能源使用量换算为碳排放影响。
Cerebras 晶圆级引擎: 在 CS-2 代产品中，一种包含 2.6 万亿个晶体管和 850,000 个核心的单晶圆处理器，旨在消除大规模机器学习训练中的设备间通信瓶颈。
链式法则: 用于计算复合函数导数的微积分法则，是反向传播的基础。
逐通道量化: 一种量化粒度方案，层中的每个通道使用各自的一组量化参数，在保持硬件效率的同时，提供比逐层量化更精确的表示。
CI/CD 流水线: 持续集成和持续交付的自动化工作流，通过整合测试、验证和部署流程，简化模型开发。
熔断器模式: 一种韧性设计模式，在服务反复失败后，停止或重定向对该不健康服务的调用，以防止级联故障，并支持回退行为。
分类标签: 为数据样本分配特定标签或类别的简单类别标注，是监督学习标注最基本的形式。
CloudSuite: EPFL 开发的基准测试套件，面向网页搜索、数据分析和流媒体等现代数据中心工作负载，从网络、存储和计算等维度测量端到端性能。
冷启动性能: 系统从空闲状态转换为主动执行状态所需的时间，在按需加载模型的无服务器环境中尤为重要。
协同过滤: 推荐系统中使用的一种技术，通过识别大量用户交互中的模式来预测用户偏好，利用群体的集体行为，而非仅依赖物品属性。
通信开销: 分布式系统中因节点间同步状态所需的延迟和带宽成本而产生的性能损失。
复合人工智能系统: 将多个专用模型和组件组合起来协同工作的人工智能架构，而非依赖单个整体式模型，从而实现模块化、专业化并改善可解释性。
压缩稀疏行（CSR）: 一种节省内存的稀疏矩阵存储格式，使用三个数组（值、列索引、行指针）仅存储非零元素，将内存需求从 \(\mathcal{O}(N^2)\)（对于 \(N{\times}N\) 矩阵）降至 \(\mathcal{O}(K + N)\)，其中 \(K\) 为非零元素的数量。
计算图: 表示神经网络计算中操作序列的有向图，支持自动微分。
计算机工程: 一门于 20 世纪 60 年代末兴起的工程学科，旨在应对硬件与软件系统集成日益增长的复杂性，结合电气工程和计算机科学的专业知识，设计并构建复杂计算系统。
概念漂移: \(P(Y\mid X)\)，即输入与目标之间的统计关系，随时间发生变化的现象，不同于 \(P(X)\) 的数据漂移；这种变化可能导致固定模型的性能下降，但并非必然。检测概念漂移通常需要结果标签，因为仅有输入漂移并不能证明条件关系发生了变化。
条件计算: 一种动态优化技术，根据输入特征有选择地激活神经网络的不同部分，通过跳过特定输入不需要的计算来减少计算负载。
共识标注: 一种质量控制方法，为同一数据点收集多个标注，以识别存在争议的样本，并通过标注者之间的一致性提高标签可靠性。
容器化: 使用 Docker 等工具，将应用程序及其依赖项打包到可移植、相互隔离的容器中，以确保在不同环境中一致执行。
连续批处理: 一种大语言模型服务技术，在序列开始和结束时，于词元生成步骤之间向推理批次中添加请求或从中移除请求。
持续集成: 一种软件开发实践，每天多次自动集成、测试并验证代码变更，以在开发周期早期发现问题。
卷积: 一种将滤波器（核）在输入数据上滑动，以提取边缘、纹理或模式等特征的数学运算。卷积是卷积神经网络的基础，对处理图像和空间数据尤其有效。
卷积神经网络: 一种专为处理图像等网格状数据设计的神经网络架构，使用卷积层应用滤波器以检测局部特征。
核心集: 从数据集中选择的小型子集，在降低训练或评估成本的同时，保留完整数据集的重要统计特性或训练特性。
修正级联: 一种机器学习技术债务模式，由于数据和模型依赖关系会在系统中传播，修复一个组件会在其他位置引发新的故障或重新设计需求。
协变量偏移: 一种分布偏移，输入特征的分布发生变化，而特征与标签之间的关系保持稳定。
CP 分解: 即 CANDECOMP/PARAFAC 分解，将张量表示为多个秩一分量之和，用于通过减少参数数量来压缩神经网络层，同时保留其计算功能。
贡献分配问题: 确定多层网络中的哪些权重导致了预测误差的难题。
CRISP-DM: 即跨行业数据挖掘标准流程，是 1996 年提出的一种结构化方法论，为数据项目定义了六个阶段：业务理解、数据理解、数据准备、建模、评估和部署。
临界批量大小: 超过此值后，更大的批量所带来的优化收益递减，并可能降低泛化能力的批量大小，从而限制了简单线性学习率缩放的适用范围。
交叉熵损失: 分类任务中常用的一种损失函数，衡量预测概率分布与真实类别标签之间的差异，为有效学习提供较强的梯度。
众包: 一种协作式数据收集方法，通过互联网组织分散的个体执行标注任务，借助 Amazon Mechanical Turk 等平台实现可扩展的数据集构建。
cuBLAS: NVIDIA 的 CUDA 基础线性代数子程序库，提供标准线性代数操作的 GPU 加速实现，支持在 NVIDIA 图形处理器上进行高性能矩阵计算。
CUDA（统一计算设备架构）: NVIDIA 的并行计算平台和编程模型，支持在图形处理器（GPU）上进行通用计算，使机器学习框架能够利用大规模并行性加速张量运算。
CUDA 流: GPU 工作的有序队列，用于调度内核、内存传输和同步事件，使独立操作能够重叠执行。

D

数据—算法—机器分类体系: 一种诊断框架，通过三个相互作用的轴分析机器学习系统瓶颈：数据（信息流，受带宽限制）、算法（数学逻辑，受总运算量限制）和机器（物理执行，受峰值吞吐量限制）。
达特茅斯会议: 1956 年在达特茅斯学院举办、为期 8 周的传奇研讨会，标志着人工智能的正式诞生。会议由 John McCarthy、Marvin Minsky、Nathaniel Rochester 和 Claude Shannon 组织，源于他们于 1955 年提出的提案，该提案引入了“人工智能”一词。
数据即源代码: Software 2.0 的一项原则，认为训练数据定义了机器学习系统的行为，因此数据集变更如同会改变行为的代码变更。
数据增强: 通过旋转、缩放或注入噪声等变换，创建现有数据的修改版本，以人工扩充训练数据集的过程。
数据级联: 数据质量问题随时间不断累积，进而造成模型失效、代价高昂的重建或项目终止等下游负面后果的系统性失效。
数据中心: 容纳计算机系统及电信、存储系统等相关组件的设施，通常包含数千台用于云计算业务的服务器。
以数据为中心的方法: 一种机器学习范式，优先改善数据质量、多样性和数据整理，而非仅着眼于改进模型架构，以提升性能。
以数据为中心的计算: 针对高效数据摄取和模型参数迭代优化而设计的系统，其中程序员的工作是整理数据。
数据契约: 数据生产者与消费者之间的明确约定，规定数据模式、质量要求和服务级别，以防止下游系统发生故障。
数据整理: 通过移除无关信息、纠正错误，并确保数据满足机器学习应用的特定标准，来选择、组织和维护高质量数据集的过程。
数据债务: 在数据质量、文档、模式、血缘或时效性方面积累的欠账，这些欠账会随时间推移不断叠加，并导致模型行为退化。
数据漂移: 即使代码保持不变，输入分布 \(P(X)\) 仍随时间发生变化的现象；这可能影响模型性能，但不一定导致性能下降。无需标签即可监测数据漂移，但衡量其对质量的影响需要标签。
数据回响: 一种训练输入流水线技术，当数据准备速度慢于加速器消耗数据的速度时，重复使用数据批次，通常每次应用新的数据增强。
数据治理: 由政策、流程和技术构成的框架，用于确保整个机器学习流水线中的数据安全、隐私、合规性和合乎伦理的使用。
数据引力: 由庞大数据量、传输时间、带宽限制和数据出站成本形成的架构牵引力，通常会促使计算向数据所在位置靠拢。
数据摄取: 从各种来源收集原始数据并将其导入系统的过程，以便存储、处理这些数据，并为机器学习应用做好准备。
数据湖: 以原生格式保存结构化、半结构化和非结构化数据的存储库，采用读时模式支持灵活的数据分析。
数据湖仓: 一种存储架构，将数据湖的灵活性与数据仓库式的查询语义、模式管理和事务保证相结合。
数据血缘: 对数据在各种转换和处理过程中的流转进行记录和跟踪，为合规与调试提供数据来源及修改情况的可见性。
数据局部性: 当传输延迟、带宽限制或传输成本在远程处理中占主导地位时，应将数据与计算部署在同一位置的原则。
数据并行: 一种分布式训练策略，将数据集划分到多个设备上，同时每个设备保留完整的模型副本，从而实现梯度的并行计算。
数据流水线: 将数据从源端经过各处理阶段移至最终存储或消费端，并自动完成数据移动和转换的基础设施与工作流。
数据质量: 数据满足准确性、完整性、一致性和及时性要求的程度，直接影响机器学习模型的性能。
数据质量乘数效应: 指数据质量的改善能够放大模型和系统变更带来的收益，因为所有下游阶段都依赖数据。
数据验证: 系统地核验所收集的数据是否符合质量标准、格式是否正确，以及是否包含适合机器学习模型训练与评估的准确信息。
数据版本管理: 类似于代码版本管理，随时间跟踪和管理数据集不同版本的实践，以确保可复现性，并在需要时回滚到先前的数据状态。
数据仓库: 针对分析查询（OLAP）优化的集中式存储库，以标准化模式存储来自多个来源、经过整合的结构化数据。
数据流架构: 一种专用计算架构，其中指令执行由数据是否可用决定，而非由程序计数器决定，从而支持神经网络运算的高度并行处理。
数据流挑战: 在硬件加速器中管理数据移动和依赖关系时面临的技术难题，包括内存带宽限制和同步要求。
数据集说明书: 记录训练数据来源、采集方法、人口统计构成，以及影响模型行为的已知局限性的文档。
死信队列: 用于存储处理失败数据的独立机制，支持后续分析并在可能时重新处理问题数据，同时避免阻塞主流水线。
去重: 从数据集中移除完全重复、近似重复或语义冗余的样本，以减少存储开销、训练计算量和数据泄漏风险。
深度学习: 机器学习的一个子领域，使用多层人工神经网络自动从数据中学习层次化表示，无需显式的特征工程。
人口统计均等: 一种公平性准则，要求获得正类预测的概率不依赖于由受保护属性定义的群体归属。
登纳德缩放定律: 一项观察规律：随着晶体管尺寸缩小，其功率密度保持不变，从而能够在相同功耗范围内实现更高性能。该规律在 2005 年前后失效，结束了无需额外功耗代价即可提升频率的时代。
全连接层: 一种神经网络层，其中每个神经元都接收前一层所有神经元的输入，从而全面整合各特征的信息。
部署约束: 硬件资源、网络连接、监管要求和集成要求等运行限制，会影响机器学习模型在生产环境中的实现方式。
部署范式: 一种托管和执行机器学习模型的特定方式，具有特定的资源约束和运行特性，例如云端机器学习、边缘机器学习、移动端机器学习或 TinyML。
深度可分离卷积: 一种卷积分解方法，先对每个通道独立进行空间滤波，再通过逐点卷积混合通道，以减少计算量。
DevOps: 一种将开发团队与运维团队相结合的软件开发实践，通过自动化与协作缩短开发周期并交付高质量软件。
Dhrystone: 1984 年提出的一种基于整数的基准测试，以 DMIPS（Dhrystone MIPS）衡量整数和字符串操作性能，旨在利用典型编程结构补充浮点基准测试。
糖尿病视网膜病变: 一种损伤视网膜血管的糖尿病并发症，是可预防失明的主要原因之一，也是医疗 AI 筛查系统的重要应用领域。
差分隐私: 一种数学框架，通过限制添加或移除任意一个人的数据时输出分布能够发生的变化幅度，量化并限制发布数据集统计信息时造成的隐私损失。
直接内存访问（DMA）: 一种允许设备在自身与内存之间移动数据的机制，无需 CPU 为每次传输执行复制管理，从而支持传输与计算重叠，并降低主机开销。
分组评估: 按人口统计群体或其他因素细分模型性能指标的实践，以揭示汇总指标所掩盖的差异。
调度开销: 通过主机框架启动和编排大量小型操作，而非执行融合或编译后的计算图区域所产生的运行时开销。
分布式计算: 一种在多台机器或多个处理器上同时处理数据的方法，通过 Apache Spark 等框架实现对大型数据集的可扩展处理。
分布式智能: 将计算能力部署在多个设备和位置上，而非依赖单一的集中式系统，从而支持本地处理与决策。
分布式训练: 一种跨多台机器或多个设备训练机器学习模型的方法，用于处理更大的数据集，以及超出单设备计算能力或内存容量的模型。
分布偏移: 训练与部署之间，或部署期间随时间推移，数据统计特性发生的变化。其类型包括协变量偏移（输入分布变化）、标签偏移（输出分布变化）和概念漂移（输入与输出之间的关系变化）。
DLRM: 深度学习推荐模型，由 Meta 开发的一种架构，将类别嵌入与底部多层感知机（MLP）和顶部 MLP 相结合，以应对推荐系统工作负载的超大规模与稀疏性。
领域专用架构: 为优化特定计算工作负载而定制的硬件设计，相较于通用处理器，以灵活性换取更高的性能和能效。
随机失活: 一种正则化技术，在训练期间随机将一部分输入单元置零，以防止过拟合并改善泛化能力。
ReLU 神经元死亡问题: 一种失效模式：当加权输入持续产生负的预激活值时，ReLU 神经元会永久失活，对所有输入均输出零，从而无法参与学习。
动态批处理: 一种模型服务技术，通过短暂等待，将独立请求组成批次，在引入可控的组批延迟的同时提升吞吐量。
动态图: 在程序执行期间构建和修改的计算图，支持灵活的模型架构并便于调试，但与静态图相比，可能限制优化机会。
动态剪枝: 一种剪枝方法，根据输入数据或训练动态改变处于非激活状态的参数或单元，而非仅依赖固定的剪枝决策。
动态量化: 以较低精度存储神经网络权重，并在运行时确定激活值量化参数的过程，可减少内存使用量，但需要受支持的低精度计算内核才能实现加速。
动态随机存取存储器（DRAM）: 一种将数据存储在电容器中、需要周期性刷新的易失性存储器，通常用作计算机系统的主存。
动态电压与频率调节（DVFS）: 一种电源管理技术，根据工作负载需求调整处理器电压和时钟频率，在维持性能的同时优化能耗。

E

即时执行: 一种在代码调用操作时立即求值的执行模式，可提供直观的调试与开发体验，但可能牺牲基于计算图执行所具备的部分优化机会。
提前退出架构: 一种在不同深度设置多个预测头的神经网络设计，允许样本在能够获得高置信度预测时提前退出，从而降低每次推理的平均计算成本。
边缘计算: 一种将计算和数据存储移近数据源的分布式计算范式，以减少延迟和带宽使用量。
边缘部署: 一种让机器学习模型在网络边缘设备上本地运行，而非在集中式云服务器上运行的部署策略，可降低延迟，并支持在无需持续互联网连接的情况下运行。
效率前沿: 准确率与计算成本（延迟、能耗或内存）之间的最优权衡曲线，在该曲线上，不存在准确率和效率同时更高的模型。
EfficientNet: 通过神经架构搜索发现的一系列神经网络架构，利用复合缩放平衡网络深度、宽度和输入分辨率，从而实现更优的准确率与效率权衡。
EL2N（误差 L2 范数）: 一种样本评分方法，通常使用代理模型，根据训练早期的预测误差对样本排序，以识别对数据选择有信息价值的边界样本。
ELIZA: 最早的聊天机器人之一，由麻省理工学院的 Joseph Weizenbaum 于 1966 年创建，能够通过模式匹配和替换模拟人类对话。其引人注目之处在于，人们开始对这一简单程序产生情感依恋。
嵌入式系统: 位于更大型机械或电气系统内部、具有专用功能的计算机系统，通常面向特定任务设计，并受到实时计算约束。
嵌入分片: 将大型嵌入表拆分到多个设备或节点上，使其能够容纳于这些设备或节点的总内存中，同时会增加为每个批次汇集嵌入向量的通信开销。
嵌入表: 将离散 ID 或词元映射为稠密向量的查找表，通常占据推荐模型和大词表模型中大部分的内存。
涌现行为: 由各个组件相互作用产生的、出乎预期的系统整体模式或特性，通常只有在系统大规模运行或处于真实环境时才会显现。
编码器—解码器: 一种架构模式，其中编码器将输入处理为中间表示，解码器再根据该表示生成输出，常用于序列到序列任务。
端到端基准测试: 一种全面的评估方法，评估整个 AI 系统流水线，包括数据处理、模型执行、后处理和基础设施组件。
能效: 单位能耗所完成的计算工作量，通常以每焦耳运算次数表示，对于电池供电设备和数据中心部署至关重要。
单次推理能耗: 生成一次模型预测所消耗的总能量，包括模型执行和相关系统开销。
训练轮次: 神经网络训练过程中完整遍历整个训练数据集一次，由多个批次迭代组成，迭代次数取决于数据集大小和批次大小。
机会均等: 一种公平性准则，要求不同人口统计群体具有相同的真正率。
均等化胜算: 一种公平性准则，要求不同人口统计群体的真正率和假正率均相同。
期望校准误差（ECE）: 一种衡量各置信度分箱中预测置信度与观测准确率之间差距的指标，用于评估概率校准程度。
实验跟踪: 系统地记录和管理机器学习实验，包括超参数、模型版本、训练数据和性能指标，以支持比较与复现。
专家系统: 最早于 20 世纪 60 年代中期开发的 AI 系统，用于编码特定领域的人类专家知识，例如诊断血液感染的 MYCIN，体现了从通用 AI 向领域专用应用的转变。
提取、加载、转换（ELT）: 一种先将原始数据加载到目标系统，再进行转换的数据处理范式，为不断变化的分析需求提供灵活性。
提取、转换、加载（ETL）: 一种在将数据加载到数据仓库之前先进行转换的传统数据处理范式，可生成格式化、可直接查询的数据。

F

公平性洗白: 一种失效模式：移除显式的受保护属性使系统表面上符合要求，但相关的代理变量仍会产生歧视性结果。
假正率（FPR）: 实际负例被错误分类为正例的比例，计算方式为假正例数除以假正例数与真负例数之和。
FarmBeats: 微软研究院的一个项目，将机器学习和物联网技术应用于农业，利用边缘计算收集土壤状况和作物健康的实时数据，同时展示分布式 AI 系统在具有挑战性的真实环境中的应用。
特征工程: 从原始数据中手动设计和提取相关特征，以改善机器学习模型性能的过程；在深度学习系统中，这一过程已在很大程度上实现自动化。
特征图: 卷积层的输出，表示学习到的滤波器对输入中不同空间位置的响应，捕获各个位置检测到的特征。
特征存储: 一种专用数据存储系统，为机器学习提供标准化、可复用的特征，支持多个模型和团队之间共享特征。
联邦学习: 一种在持有本地数据样本的去中心化边缘设备或服务器上训练算法、无需交换原始数据的机器学习方法。
反馈回路: 输出影响未来输入的循环过程。在机器学习中，这既包括有益的循环（模型输出为系统改进提供依据），也包括有害的循环（模型预测影响其自身未来的训练数据，可能随时间推移强化并放大初始偏差）。
前馈网络: 一种信息从输入层向输出层单向流动、没有环路的神经网络架构，是许多深度学习模型的基础。
现场可编程门阵列（FPGA）: 一种可重配置集成电路，可在制造完成后通过编程实现定制数字电路和专用计算，其灵活性介于通用处理器与 ASIC 之间。
微调: 在特定任务的数据上继续训练，使预训练模型适应目标任务或领域。
五支柱框架: 一种机器学习系统工程组织框架，由五个相互关联的领域组成：数据工程、训练系统、部署基础设施、运维与监控，以及伦理与治理。
FlashAttention: 一种面向 IO 优化的注意力算法，通过分块计算避免在高带宽内存中显式存储完整的注意力矩阵，从而减少内存数据传输，并支持更长的序列。
浮点运算单元（FPU）: 一种专用处理器组件，用于以高精度和高效率执行浮点数算术运算。
FLOP/s: 每秒浮点运算次数，是计算吞吐量的度量，量化系统每秒能够执行的浮点运算次数。
遗忘事件: 模型在训练过程中从正确分类某个样本转变为随后错误分类该样本的事件，可用于标识困难或具有信息价值的样本。
前向计算: 将输入数据依次传递至神经网络各层，并在每个阶段应用权重、偏置和激活函数以生成输出、计算预测结果的过程。也称为前向传播。
基础模型: 在广泛数据上训练的大规模机器学习模型，可适配多种下游任务，为专门应用提供基础。
四支柱框架: 一种数据工程框架，将相关关注点组织为质量、可靠性、可扩展性和治理四个方面，以管理数据生命周期。
FP16: 16 位浮点数值表示，可减少内存使用量，并在现代硬件加速器上加速计算，同时为许多机器学习应用维持可接受的精度。
FP32: 32 位浮点数值表示，为数学计算提供标准精度，但比低精度格式需要更多内存和计算资源。
FP32 转 INT8: 一种常见的量化转换，将 32 位浮点权重和激活值转换为 8 位整数，使内存占用降至约原来的四分之一（约 4\(\times\) 的缩减倍数），同时为许多模型维持可接受的准确率。
FP8: 一类用于较新加速器的 8 位浮点格式，支持高吞吐量训练与推理；由于精度和表示范围有限，需要谨慎进行缩放。
框架分解: 将神经网络框架系统地分解为可映射到硬件的组件，从而将运算高效地分配到各处理单元上。

G

GEMM: 通用矩阵乘法运算，遵循 \(C = \alpha AB + \beta C\) 的形式，是包括全连接层和卷积层在内的大多数神经网络运算所依赖的基础计算内核。
GEMV: 通用矩阵—向量乘法运算，计算矩阵与向量的乘积，常用于神经网络计算，需要针对内存访问模式进行细致优化。
泛化: 机器学习模型在不同于训练集的未见数据上表现良好的能力，通常可通过多样化、高质量的训练数据加以改善。
泛化差距: 模型在训练数据上的性能与其在留出数据上的性能之差。较大的泛化差距可能表明模型对训练数据过拟合。
生成式 AI: 一类能够根据从训练数据中学习到的模式，创建文本、图像、音频或视频等新内容的人工智能系统。
古德哈特定律: 一项观察规律：当某个度量成为优化目标时，它可能不再代表其背后的真实目标。
GPT-2: OpenAI 于 2019 年发布的一种拥有 15 亿参数的自回归语言模型，是分析 Transformer 推理中内存带宽约束的主要代表性模型。
优雅降级: 一种系统设计原则：当出现部分故障或数据不可用时，服务仍以较低的能力水平继续运行。
梯度累积: 一种在更新模型参数之前累积多个较小批次梯度，以模拟更大批次大小的技术，支持在内存有限的条件下进行训练。
基于梯度的剪枝: 一种利用梯度信息，对参数、神经元或滤波器进行排序，以确定候选移除对象的剪枝方法。
梯度裁剪: 一种在反向传播过程中通过限制梯度大小来缓解梯度爆炸的优化技术，通常在梯度范数超过阈值时对梯度进行缩放。
梯度压缩: 一种用于分布式训练的技术，通过压缩计算节点之间交换的梯度信息来减少通信开销。
梯度下降: 一种利用梯度确定更新方向和幅度，沿使损失函数减小的方向迭代调整神经网络参数的优化算法。
梯度同步: 分布式训练中跨设备汇总本地计算梯度的过程，以确保所有设备一致地更新参数。
GraNd（梯度范数）: 一种基于训练早期样本梯度范数的数据选择评分，用于识别学习信号较强的样本。
计算图中断: 编译器无法捕获程序的某个部分、必须回退到即时执行的位置，这会将优化后的计算图区域分割开来。
图形处理器（GPU）: 最初为图形渲染而设计的专用处理器，提供大规模并行计算能力，对高效的神经网络计算、训练和推理至关重要。
绿色 AI: AI 研究与实践中的一种运动，将计算效率和能耗与准确率等传统性能指标并列为主要评价指标。
Green500: 一种排名体系，以每瓦 FLOP/s 衡量的能源效率，而非原始计算性能，评价全球性能最强的超级计算机。
真值: 在训练或评估中被视为正确的参考目标，通常来源于测量或标注，因此不一定与客观现实完全一致。
GRU: 门控循环单元，是 LSTM 的一种简化变体，使用更少的门，同时保留捕获序列数据中长期依赖关系的能力。

H

硬件抽象: 机器学习框架中的一个层次，为不同计算硬件（CPU、GPU、TPU、加速器）提供统一接口，同时在底层处理设备特定的优化和内存管理。
硬件加速: 使用专用计算硬件执行某些操作，使其比运行在通用处理器上的软件更快、更高效。
硬件加速器: 为高效执行特定类型计算而设计的专用计算硬件，例如用于并行处理的 GPU 或用于机器学习工作负载的 TPU。
硬件感知设计: 专门针对目标硬件平台优化神经网络架构的设计实践，考虑内存层次结构、计算单元和数据移动模式等因素，以最大限度地提高效率。
隐藏层: 神经网络中位于输入层和输出层之间的中间层，通过学习得到的权重和激活函数变换数据，从而学习抽象表示。
隐藏状态: 循环神经网络的内部记忆，携带先前时间步的信息，使网络能够在序列输入之间保留上下文。
分层处理: 一种多层系统架构，数据和智能处理能力在计算栈的不同层级之间流动，涵盖传感器、边缘设备和云端系统。
高带宽内存（HBM）: 一种先进的内存技术，通过三维堆叠和宽接口提供远高于传统 DRAM 的带宽，对数据密集型 AI 工作负载至关重要。
水平扩展: 通过增加机器或实例，而非升级现有硬件来提升系统容量，从而提供更好的容错能力和负载分布。
混合机器学习: 将云端、边缘、移动端和 TinyML 等多种机器学习范式集成为统一的分布式系统，结合各自互补的优势。
混合并行: 一种结合数据并行和模型并行的分布式训练方法，利用两种策略的优势训练超大模型。
超参数: 控制学习过程但不从数据中学习得到的配置项，例如学习率、批大小或网络架构选择。
超大规模数据中心: 包含数千台服务器、占地面积庞大的大型数据中心设施，旨在高效支持海量计算工作负载。

I

I/O 瓶颈: 存储、解码、预处理或数据传输无法以足够快的速度提供数据，因而无法使计算资源持续忙碌的性能限制。
幂等变换: 重复应用与应用一次产生相同效果的数据变换，支持安全重试和重新处理。
im2col: 一种卷积转换技术，将图像块展开为矩阵的列，使卷积能够以 GEMM 的形式执行。
ImageNet: 一个大型视觉数据库，包含超过 1,400 万张带标签图像，涵盖 20,000 多个类别，由李飞飞领导的团队开发并于 2009 年推出。其年度挑战赛在推动计算机视觉取得突破性进展方面发挥了重要作用。
命令式编程: 一种编程范式，程序指定用于更新状态和控制执行流程的命令序列；这一范式与操作是立即执行还是暂存以供稍后执行并无直接关联。
归纳偏置: 内置于模型或架构中的结构性假设，限制了模型能够高效学习的函数范围，例如 CNN 中的局部性。
推理: 训练完成的神经网络使用固定参数对新数据进行预测的运行阶段，不更新权重。
InfiniBand: 一种高吞吐量、低延迟的网络技术，常用于多节点加速器集群和分布式训练。
信息—计算比（ICR）: 量化数据选择效率的指标，定义为模型性能增益与实现该增益所需计算成本（FLOPs）之比。最大化 ICR 是数据选择策略的首要目标。
基础设施即代码: 通过机器可读的配置文件而非人工流程管理和配置计算基础设施的实践，可实现版本控制和自动化。
INT8: 一种 8 位有符号整数表示，用于量化权重、激活值或两者。每个 INT8 值占用的存储空间是 FP32 值的四分之一，支持该格式的硬件能够加速适用的操作，准确率则取决于量化方案。
中间表示（IR）: 编译器内部使用的一种表示，位于前端模型代码与后端硬件代码生成之间，供机器学习框架进行优化并实现可移植性。
物联网: 由嵌入传感器、软件及其他技术的物理对象构成的网络，这些对象通过互联网与其他设备和系统连接并交换数据。
交叉性分析: 一种考虑人口统计属性组合（例如同时考虑种族和性别）的评估方法，用于发现单因素分析无法揭示的、集中于特定群体的危害。
IOPS: 每秒输入/输出操作数；衡量设备每秒可处理读写操作次数的存储性能指标，对训练数据加载等随机访问工作负载至关重要。
机器学习系统铁律: 将机器学习系统性能分解为三项的定量框架：数据（受带宽限制）、计算（受 FLOP/s 限制）和延迟（受开销限制）。其公式为 \(T = D_{\text{vol}}/\text{BW} + O/(R_{\text{peak}} \cdot \eta_{\text{hw}}) + L_{\text{lat}}\)。
迭代剪枝: 一种渐进式剪枝策略，分多个阶段移除参数，并在各阶段之间进行微调，使模型能够适应容量的减小，通常比一次性剪枝获得更高的准确率。

J

JAX: 由 Google Research 开发的数值计算库，将 NumPy 的 API 与自动微分、即时编译和自动向量化等函数式编程变换相结合，用于高性能机器学习研究。
JIT 编译: 即时编译，在运行时分析并优化代码，通过编译常用函数，使框架能够兼顾即时执行的灵活性与图优化的性能优势。

K

k-匿名性: 一种隐私保护技术，通过对准标识符进行泛化，确保数据集中的每条记录都与至少 k-1 条其他记录不可区分。
核: 卷积层中用于通过卷积操作检测特定特征的可学习权重小矩阵，也称为滤波器。在 GPU 编程中，该术语也指启动后由线程网格并行执行的函数。
核融合: 一种将多个计算操作合并为单个核的优化技术，用于减少内存传输并提升并行处理器上的性能。
关键词检测（KWS）: 一种检测音频流中特定唤醒词或短语的技术，通常用于对功耗和延迟有限制的声控设备。
知识蒸馏: 一种模型压缩技术，较小的“学生”网络通过基于较大“教师”网络的软输出概率进行训练，而不只是使用硬标签，来学习模仿教师网络的行为。
Kolmogorov-Smirnov 检验（K-S 检验）: 一种测量两个累积分布之间最大距离的非参数检验，常用于比较特征分布以检测漂移。
Kullback-Leibler 散度（KL 散度）: 一种非对称的信息论度量，用于衡量一个概率分布与另一个概率分布的差异，应用于监控和漂移分析。
KV 缓存: 存储先前 Transformer 词元的键张量和值张量，在自回归推理中用于避免重复计算历史注意力信息。

L

L0 范数: 向量或张量中非零元素的数量，在剪枝中用于表示稀疏程度或剩余权重的目标预算。
标签质量漂移: 标签的可靠性或一致性随时间下降的现象，即使底层输入分布保持稳定也可能发生。
标签偏移: 一种分布偏移，标签频率发生变化，而以标签为条件的特征模式保持稳定。
LAPACK: 线性代数软件包，在 BLAS 的基础上扩展了更高层次的线性代数操作，包括矩阵分解、特征值问题和线性方程组求解，为机器学习计算提供关键的数学基础。
延迟: 从请求或事件发生到相应响应或完成之间的时间间隔，在要求及时响应的实时应用中至关重要。
延迟约束: 限制模型推理最大可接受延迟的实时性要求，在响应时间至关重要的部署场景中指导优化决策。
层归一化: 一种对每个样本沿特征维度归一化输入的技术，常用于 Transformer 架构，以稳定训练过程。
逐层量化: 一种量化粒度，单层中的所有参数共享相同的量化参数，可提高计算效率，但与更细粒度的方法相比，可能限制表示精度。
学习率: 决定梯度下降优化中权重更新步长的超参数，对训练稳定性和收敛速度具有关键影响。
学习率调度: 在训练过程中系统地调整学习率，采用阶梯衰减、指数衰减或余弦退火等策略，以改善收敛性和最终模型性能。
生命周期一致性: 机器学习开发的所有阶段都应与系统总体目标保持一致的原则，要求数据处理、模型架构和评估标准相互协调。
线性扩展失效: 增加计算资源（例如将加速器数量翻倍）时，由于通信开销和同步成本，性能增益低于线性增长的现象。
LINPACK: 由阿贡国家实验室开发的基准测试，通过求解稠密线性方程组来衡量系统性能，因用于 TOP500 超级计算机排名而闻名。
利特尔定律: 一种排队关系，指出平均并发数等于到达率乘以在系统中的平均停留时间，将吞吐量、延迟和容量联系起来。
Llama: 即 Large Language Model Meta AI，是一个开放基础模型家族，推广了 RMSNorm 和 SwiGLU 等高效架构选择，成为大规模 Transformer 效率的现代参考基准。
负载均衡: 将传入请求分配到多个服务器实例，以防止瓶颈、缩短响应时间并确保高可用性。
局部敏感哈希（LSH）: 一类以高概率将相似对象映射到相同桶中的哈希方法，可实现具有可扩展性的近似相似性搜索。
未归一化分数（logits）: 神经网络最后一层输出的原始、未归一化分数，随后由 softmax 等激活函数转换为概率。
损失函数: 衡量模型输出满足训练目标程度的数学函数，为训练算法提供要最小化的目标。
损失缩放: 混合精度训练中的一种技术，在反向传播前将损失乘以一个较大的因子，以防止低精度格式中的梯度下溢。
彩票假说: 一种理论，认为大型神经网络包含稀疏子网络，这些子网络从适当的初始化状态开始独立训练时，能够以显著更小的规模达到与完整网络相当的准确率。
低秩分解: 一种矩阵分解技术，将大型权重矩阵近似为较小矩阵的乘积，从而减少神经网络层所需的参数数量和计算操作数。
LSTM: 长短期记忆，是一种循环神经网络架构，通过控制信息流的门控机制处理长期依赖关系。

M

机器学习: 人工智能的一个分支，使系统能够通过经验和数据自动提升任务性能，而无需显式编程。
机器学习框架: 提供用于设计、训练和部署机器学习模型的工具与抽象的软件平台，通过计算图、硬件优化和工作流编排，将用户应用与基础设施连接起来。例如 TensorFlow、PyTorch 和 JAX。
机器学习生命周期: 一种结构化的迭代过程，涵盖机器学习系统开发、部署和维护所涉及的全部阶段，从问题定义到持续监控和改进。
机器学习运维（MLOps）: 一门工程学科及一套工具，通过对从开发到生产的整个机器学习流水线进行自动化、监控和管理，实现机器学习模型的生产运行。
机器学习系统工程: 一门致力于跨计算平台构建可靠、高效且可扩展的 AI 系统的工程学科，涵盖从数据采集到部署和运维的整个 AI 生命周期，强调资源感知和系统级优化。
宏观基准测试: 一种评估完整机器学习模型的方法，用于了解架构选择和组件交互如何影响系统的整体行为与性能。
基于幅值的剪枝: 最常见的剪枝方法，移除绝对值最小的参数，其依据是假设幅值较小的权重对模型输出的贡献较小。
掩蔽: 一种匿名化技术，通过修改或混淆敏感值，使其无法被直接追溯至原始数据主体。
成员推理攻击: 一种隐私攻击，试图确定某条特定记录是否包含在模型的训练数据中。
内存带宽: 从内存读取数据或向内存写入数据的速率，以字节每秒衡量，通常会成为内存密集型机器学习工作负载的瓶颈。
内存层次结构: 按不同访问速度和容量组织内存系统的方式，从快速的片上缓存到较慢的片外主存。
内存墙: 处理器速度与内存带宽之间不断扩大的性能差距，计算能力的增长超过了向处理器提供数据的速率，成为大型机器学习模型的主要瓶颈。
元数据: 关于数据集的描述性信息，包括数据采集细节、质量指标、验证状态，以及数据管理所必需的其他上下文信息。
微批次: 有效批次中较小的一部分，在梯度累积或流水线并行中按顺序处理，以降低内存峰值占用。
微基准测试: 用于评估机器学习系统中单个组件或特定操作的专用评估工具，例如张量操作或神经网络层。
微控制器: 集成在单个集成电路上的小型计算机，包含处理器内核、存储器和可编程输入/输出外设，常用于嵌入式系统。
MinHash: 一种使用紧凑签名近似估计集合相似度的概要方法，常用于大规模近重复检测。
小批量梯度下降: 一种训练方法，每次使用一小部分训练样本同时计算梯度并更新权重，在计算效率与梯度估计质量之间取得平衡。
小批量处理: 一种在小批量样本上计算梯度的优化方法，在批处理的计算效率与随机方法的内存约束之间取得平衡。
混合精度计算: 在计算的不同阶段使用不同数值精度的技术，例如矩阵乘法使用 FP16，累加使用 FP32。
混合精度训练: 一种结合不同数值精度（通常为 FP16 和 FP32）的训练方法，在保持训练稳定性的同时优化内存使用和计算速度。
机器学习节点: 被视为一个运维单元的单个生产环境机器学习应用，包括数据流水线、特征计算、模型训练、模型服务基础设施和监控。
机器学习系统: 由三个核心组件组成的集成计算系统：引导算法行为的数据、从数据中提取模式的学习算法，以及支持训练和推理过程的计算基础设施。
机器学习系统谱系: 机器学习系统的部署范围，从资源充裕的云端系统到约束严苛的微型嵌入式设备，各类系统都需要不同的优化策略和权衡。
机器学习测试评分: 一套评估机器学习系统生产就绪程度的评分准则，涵盖数据、模型、基础设施和监控测试。
MLCommons: 开发和维护机器学习系统行业标准基准测试的组织，其成果包括用于训练和推理评估的 MLPerf 套件。
MLPerf: 行业标准基准测试套件，为各种深度学习工作负载提供标准化的训练和推理测试，以支持机器学习系统之间的公平比较。
MLPerf 执行场景: 标准的 MLPerf 推理流量场景，用于模拟具有不同延迟和吞吐量要求的顺序、同步、服务器、批处理和交互式工作负载。
MLPerf 推理基准: 一种基准测试框架，评估从云数据中心到移动设备和嵌入式系统等不同部署环境中的机器学习推理性能。
MLPerf 移动端基准: 将 MLPerf 评估扩展到智能手机和移动设备的专用基准测试，衡量严格功耗和内存约束下的延迟与响应能力。
MLPerf 功耗测量: 一种 MLPerf 方法，在测量性能的同时衡量机器学习工作负载的功耗和能源效率。
MLPerf 微型系统基准: 为嵌入式和超低功耗 AI 系统设计的基准测试，例如处理能力极其有限的物联网设备、可穿戴设备和微控制器。
MLPerf 训练基准: 一种标准化基准测试，通过测量不同硬件平台上达到目标准确率所需的时间、吞吐量和资源利用率，评估机器学习训练性能。
移动端机器学习: 在智能手机和平板电脑等便携式电池供电设备上直接执行机器学习模型，以实现个性化且响应迅速的应用。
模型卡: 一种记录机器学习模型的标准化格式，涵盖负责任部署所必需的信息，包括预期用途、性能影响因素和伦理考量。
以模型为中心的 AI: 一种将数据集视为固定不变、将工程工作重点放在优化模型架构上的研究范式。
模型压缩: 在力求保持准确率的同时，减小机器学习模型规模和计算需求的技术，使其能够部署到资源受限的设备上。
模型部署: 将训练完成的机器学习模型集成到生产系统中的过程，使其能够对新数据进行预测，并为最终用户提供价值。
模型漂移: 由于数据模式、用户行为或环境条件发生变化，偏离原始训练条件，导致机器学习模型性能随时间下降的现象。
模型评估: 使用多种指标和验证技术，系统地评估机器学习模型的性能，以确定模型是否满足要求并具备部署条件。
模型 FLOPs 利用率（MFU）: 由观测吞吐量推算出的模型每秒浮点运算数与硬件理论峰值每秒浮点运算数之比，用于衡量工作负载将可用算力用于模型计算的有效程度。
模型优化: 对机器学习模型进行系统性改进，在保持有效性的同时提升效率，并在准确率、计算成本、内存使用、延迟和能源效率之间取得平衡。
模型并行: 一种分布式训练策略，将神经网络模型拆分到多个设备上，每个设备负责计算网络的一部分。
模型量化: 降低机器学习模型数值精度的过程，通常从 FP32 降至 INT8，以减小模型大小和内存流量；只有使用高效的低精度核才能提高速度。
模型注册中心: 用于存储、版本控制和管理已训练机器学习模型及其关联元数据的集中式存储库，支持模型治理和部署。
模型服务: 通过 API 暴露已部署机器学习模型的基础设施和系统，以适当的延迟和吞吐量大规模处理预测请求。
模型训练: 使用机器学习算法从训练数据中学习模式、调整模型参数以最小化预测误差，并构建可用预测系统的过程。
模型验证: 在独立数据集上测试机器学习模型的过程，用于评估其泛化能力，并确保其在未见数据上表现可靠。
模型版本管理: 系统地跟踪和管理机器学习模型的不同版本，包括模型参数、训练数据和性能指标，以支持比较和回滚。
动量: 一种在迭代过程中累积速度向量的优化技术，帮助梯度下降穿越局部极小值区域，并沿一致的梯度方向加速收敛。
监控: 在生产环境中持续观察和测量机器学习系统性能、数据质量及运行指标，以检测问题并触发维护操作。
多头注意力: 一种使用多个并行注意力头的注意力机制，每个头关注输入的不同方面，从而同时捕获多种类型的关系。
多层感知机（MLP）: 一种前馈神经网络，在输入层与输出层之间具有一个或多个隐藏层，能够通过全连接和激活函数学习非线性映射。
乘加运算（MAC）: 将两个值相乘并将结果累加到运行总和中的运算，在线性层和加速器数据通路中占据主导地位。
MYCIN: 最早的大规模专家系统之一，斯坦福大学自 1972 年起开发，用于诊断血液感染，体现了人工智能从追求通用智能转向获取特定领域人类专家知识的方向变化。

N

N:M 稀疏性: 一种结构化稀疏模式，每 M 个值中恰有 N 个非零值，为硬件提供更规则的零值模式以供利用。
神经架构搜索: 一种自动化方法，通过搜索层、连接和架构超参数的可能组合，寻找在指定目标和约束下表现良好的神经网络架构。
神经网络: 一种计算模型，由按层组织的互连节点组成，能够通过可调节的连接权重学习从输入到输出的映射。
神经网络处理器（NPU）: 专为加速神经网络运算和机器学习计算而设计的专用处理器，针对 AI 工作负载的并行处理进行了优化。
神经形态计算: 一种模拟生物神经网络结构与功能的计算方法，有望为 AI 应用提供能效更高的处理能力。
NoSQL: 一类采用灵活模式、用于处理大量非结构化或半结构化数据的数据库系统，常用于大数据应用。
数值精度优化: 模型优化的一个维度，关注数值的表示和处理方式，包括将高精度值映射为低位宽表示的量化技术。
NVLink: NVIDIA 用于节点内通信的高带宽 GPU 互连技术，适用于梯度同步和模型并行中的激活值传输。

O

可观测性: 一种综合监控方法，通过指标、日志和追踪信息洞察系统行为，从而根据外部输出理解内部状态。
片上存储器: 直接集成在处理器芯片上的高速存储器，包括缓存和暂存存储器，可提供高带宽、低延迟的数据访问。
设备端学习: 机器学习模型直接在边缘设备上适应和学习的能力，无需将数据传输到外部服务器。
独热编码: 一种将类别标签表示为向量的方法，向量中仅有一个元素为 1，其余元素均为 0。
一次性剪枝: 一种在单个步骤中移除大部分参数的剪枝策略，通常随后通过微调恢复准确率；该策略简单，但可能需要更大力度的微调。
联机分析处理（OLAP）: 一种针对大型数据集上的复杂分析查询进行优化的数据库处理方式，通常用于数据仓库中的商业智能分析。
在线推理: 一种以低延迟处理单个请求的实时预测服务，适用于需要即时响应的交互式应用。
联机事务处理（OLTP）: 一种针对频繁的短事务和实时处理进行优化的数据库处理方式，常用于业务运行应用。
ONNX: 开放神经网络交换格式，是一种表示机器学习模型的标准化格式，可实现不同框架之间的互操作，使在一个框架中训练的模型能够使用另一个框架部署。
ONNX Runtime: 一种跨平台推理引擎，通过算子融合和内核调优等技术优化机器学习模型，以提高推理速度并减少计算开销。
优化器: 在训练过程中调整模型参数以最小化损失函数的算法，常见示例包括 SGD（随机梯度下降）、Adam 和 RMSprop，各自采用不同的参数更新策略。
优化器状态: 优化器在模型参数之外维护的辅助值，例如 Adam 的动量和方差张量，通常在大模型的训练内存占用中占据主导地位。
编排: 对复杂工作流和分布式计算任务进行协调与管理，通常使用 Kubernetes 等平台管理容器。
离群点检测: 识别显著偏离正常模式的数据点的过程，这些数据点可能代表错误、异常或有价值的罕见事件。
过拟合: 一种模型过度学习训练数据的具体细节，以至于无法泛化到未见过的新样本的现象，通常表现为训练准确率很高，但验证性能较差。

P

填充: 卷积网络中的一种技术，在输入边界周围添加零或其他值，以控制输出特征图的空间尺寸。
PagedAttention: 一种 KV 缓存内存管理技术，将注意力上下文存储在固定大小的页中，而非为每个请求分配连续内存块，以减少碎片。
范式转变: 科学研究方法的根本性变化，例如 AI 在 20 世纪 90 年代从符号推理转向统计学习，以及在 2010 年代从浅层学习转向深度学习，要求研究者放弃既有方法，采用截然不同的途径。
并行性: 同时执行多个计算任务或操作的能力，是实现高性能神经网络处理的基础。
参数: 神经网络中可学习的组成部分，包括权重和偏置，在训练过程中通过调整来最小化损失函数。
帕累托前沿: 一组配置，在这些配置中，改善一个目标必然会使另一个目标变差，用于分析准确率、延迟、内存和能耗之间的权衡。
分区: 一种数据库技术，根据特定条件将大型数据集划分为更小、易于管理的片段，以提高查询性能和系统可扩展性。
感知机: 神经网络的基本构建单元，由加权输入、偏置项和产生单一输出的激活函数组成。
性能洞察: 从生产环境中机器学习系统的监控结果中得出的分析性认识，用于揭示模型准确率、系统效率或用户体验的改进机会。
单位数据性能（PPD）: 衡量每个训练样本带来的准确率增益的指标，用于评估数据集或选择策略的质量。较高的 PPD 表明数据集信息丰富且冗余较少。
锁页内存: 页面被锁定的主机内存，可支持 CPU 与 GPU 之间直接、异步传输，以预留系统内存为代价提高数据加载吞吐量。
流水线丛林: 一种反模式，复杂且相互依赖的数据处理流水线变得难以维护、调试和修改，从而造成技术债务和运行复杂性。
流水线并行: 一种模型并行形式，将模型的不同层放置在不同设备上，数据以流水线方式流经这些层，从而允许同时处理多个批次。
时间点正确性: 保证训练样本仅使用在历史预测时点本应可用的特征值，从而防止信息泄漏。
池化: 卷积网络中的一种下采样操作，在保留重要特征的同时减小空间尺寸，通常对局部区域执行最大值或平均值运算。
群体稳定性指数（PSI）: 一种基于分箱的分布偏移指标，通过将当前特征分布与基准分布进行比较来检测群体漂移。
位置编码: Transformer 架构中用于注入词元在序列中位置信息的方法，因为 Transformer 本身不具备固有的顺序处理机制。
训练后量化: 一种应用于已训练模型的量化方法，无需修改训练过程，通常使用有代表性的数据进行校准，以确定最优量化参数。
电能使用效率（PUE）: 数据中心用于衡量能源效率的指标，计算方式为设施总功耗与 IT 设备功耗之比。
功耗墙: 大约在 2005 年达到的一项技术瓶颈：提高处理器频率若不伴随不可持续的功率密度和发热量增长，就无法继续带来性能提升，因此迫使架构转向并行化和专用化。
精度: 在数值计算中，用于表示数值的有效位数或有效数字位数，会影响机器学习系统的计算准确性和资源需求。
预取: 一种系统优化技术，在需要数据之前将其加载到内存中，使数据加载与计算重叠执行，以减少空闲时间并提高训练吞吐量。
问题定义: 机器学习开发的初始阶段，包括明确规定目标、约束、成功指标和运行要求，以指导后续所有开发决策。
处理单元（PE）: 加速器中重复使用的构建单元，包含计算单元和本地存储，由多个 PE 组成的阵列可并行执行张量运算。
可编程逻辑控制器（PLC）: 用于制造业和物联网环境的工业控制系统，可与机器学习模型集成，以在运营技术场景中实现自动化决策。
蛋白质折叠问题: 根据蛋白质的氨基酸序列及其所处环境预测其三维结构和动态行为的科学难题。对于这一长期存在的问题，AlphaFold 等系统取得了突破性的预测精度，但尚未解决所有折叠相关问题。
代理变量: 即使受保护属性或敏感属性已被移除，仍间接携带有关该属性信号的特征。
假名化: 一种隐私保护技术，用人工标识符替换直接标识符，同时保留为分析目的追溯记录的能力。
PyTorch: Facebook 人工智能研究实验室开发的深度学习框架，强调动态计算图、即时执行和直观的 Python 集成，在研究和实验中尤为流行。

Q

量化: 一种模型压缩技术，以较低精度表示参数或激活值，例如从 FP32 转为 INT8，在不减少数学运算次数的情况下减少存储和数据搬移；实现加速需要硬件和内核支持。
量化感知训练: 一种在训练过程中模拟量化影响的训练方法，使模型能够适应较低精度，通常比训练后量化获得更高的准确率。
量化粒度: 应用量化参数的层级，范围从逐张量（最粗）到逐通道或逐组（更细）；更细的粒度通常能保留更高的准确率，但需要更多存储空间。
每秒查询数（QPS）: 衡量系统一秒内可处理多少推理请求的性能指标，常用于评估生产部署中的吞吐量。
查询—键—值: 注意力机制的三个组成部分，其中查询决定要寻找什么，键表示有哪些可用内容，值包含实际需要加权和组合的信息。

R

实时处理: 在应用的时间约束下，在数据可用时对其进行处理；硬实时系统保证满足最坏情况下的截止期限，而软实时系统允许偶尔错过截止期限。
感受野: 输入中影响某个特定神经元输出的区域，决定了该神经元能够检测到的模式的空间范围。
循环神经网络: 一种专为序列数据处理设计的神经网络，其连接形成环路，使信息能够跨时间步保留。
红色 AI: 优先追求准确率或性能最大化，而不考虑为此不断增加的计算成本和环境成本的 AI 研究与开发方式。
正则化: 通过添加约束或惩罚来防止神经网络过拟合的技术，包括 dropout、权重衰减和数据增强等方法。
ReLU: 修正线性单元激活函数，定义为 \(f(x) = \max(0, x)\)，在保持计算效率的同时引入非线性，并有助于缓解正输入区域的梯度消失问题。
残差连接: 将某一层的输入与其输出相加的跳跃连接，通过缓解梯度消失问题，使极深网络的训练成为可能。
ResNet: 残差网络，一种由带有跳跃连接的残差块构成的深度卷积架构，使数百层网络的训练成为可能，并取得了突破性性能。
ResNet-50: 残差网络架构的一种特定的 50 层变体，在视觉基准测试中兼顾深度与计算成本，是计算受限工作负载的典型标杆模型。
视网膜眼底照片: 眼球内表面的医学图像，包含视网膜、视盘和血管，常用于诊断眼部疾病和训练医疗 AI 系统。
反向模式微分: 一种通过逆序遍历计算图来计算梯度的自动微分技术，对于输入多、输出少的函数效率极高，因此非常适合神经网络训练。
脊点: 在给定硬件平台上，工作负载从内存受限转为计算受限时的算术强度，计算方式为峰值 FLOP/s 除以内存带宽。它是 Roofline 模型图中的转折点。
环形 AllReduce: 一种带宽利用率高的 AllReduce 算法，设备沿环形拓扑传递数据块并累加结果，用于分布式梯度同步。
RMSprop: 一种自适应学习率优化算法，通过维护梯度平方的移动平均值，在训练过程中自动调整各参数的学习率。
基于角色的访问控制（RBAC）: 一种根据用户、服务或团队角色授予权限的访问控制模型，而非临时逐个授予权限。
回滚: 在生产环境中检测到问题时，恢复到模型或系统先前稳定版本的过程，以确保服务连续性。
Roofline 分析: 一种性能建模技术，以运算强度为横轴、可达到的性能为纵轴绘图，并以峰值算力和带宽构成性能上限，用于识别系统是内存受限还是计算受限。

S

可扩展性: 机器学习系统在数据量、用户数量或计算需求增加时，能够在性能或用户体验不显著下降的情况下进行处理的能力。
缩放因子与零点: 用于在实值张量与整数值之间进行双向映射的量化参数，其中缩放因子控制步长，零点将实数零映射到量化范围内。
模式: 数据结构与格式的定义，规定数据类型、字段名称和关系，对数据验证和处理一致性至关重要。
模式演化: 随时间修改数据模式，同时保持向后兼容性，并确保依赖该模式的系统和应用持续正常运行的过程。
读时模式: 数据湖中采用的一种方法，在读取数据时才定义并强制执行数据结构，而非在存储时执行，从而为多种数据类型提供灵活性。
暂存存储器: 由软件管理的高速本地存储器，供加速器在编译器或运行时控制下暂存数据，以支持可预测的数据搬移。
分割图: 在像素级别对对象进行分类的详细标注，提供最细粒度的标签信息，但需要显著更多的存储和处理资源。
自注意力: 一种查询、键和值均来自同一序列的注意力机制，使每个位置都能关注包括自身在内的所有位置。
半监督学习: 一种同时使用有标签和无标签数据进行训练的机器学习方法，通过结构性假设，在标签有限的情况下提升模型性能。
敏感度: 分类模型正确识别出的实际阳性病例所占比例，也称为真阳性率或召回率；在漏检阳性病例会造成严重后果的医疗应用中至关重要。
无服务器计算: 一种由提供商自动管理基础设施的云计算模式，使代码执行无需考虑服务器管理问题。
服务级别协议（SLA）: 一种规定服务承诺的正式对外合同，通常通过一个或多个 SLO 表述承诺，并规定不履约的后果或处罚。
服务级别目标（SLO）: 针对延迟、错误率或可用性等服务级别指标设定的内部可测量目标，用于指导运维，并可能作为对外 SLA 的依据。
影子部署: 一种部署策略，新模型与生产模型并行运行，其预测结果会被记录，但不提供给用户，从而能够在不影响用户的情况下进行验证。
浅层学习: 使用支持向量机和决策树等复杂度有限的算法的机器学习方法，需要精心设计特征，但无法像深度学习方法那样自动发现层次化表示。
SHAP 值: 基于 Shapley 值的特征归因分数，用于估计每个特征对模型预测的贡献。
sigmoid: 一种将输入值映射到 0 与 1 之间的激活函数，曾广泛使用，但在深层网络中容易出现梯度消失问题。
静默偏差: 一种模型不公平现象，会产生看似有效但具有歧视性的输出，能够逃过传统错误监控，需要按群体细分评估才能检测。
静默退化: 机器学习系统性能在未触发错误、异常或告警的情况下逐渐下降的现象。机器学习系统可能持续运行，却产生越来越不准确的预测。
静默失效: 一种系统失效模式，机器学习模型持续产生看似合理、但准确性或上下文相关性逐渐下降的输出，且不触发常规错误告警。
SIMD（单指令多数据）: 一种同时对多个数据元素执行相同操作的并行计算架构，适用于规则的数据并行计算。
SIMT（单指令多线程）: SIMD 的一种扩展，支持多个独立线程并行执行，每个线程维护各自的状态和程序计数器。
奇异值分解: 一种将矩阵分解为三个矩阵乘积的矩阵分解技术，常用于低秩近似，通过仅保留最重要的奇异值来压缩神经网络层。
跳跃连接: 一种绕过一个或多个层的直接连接，使梯度能够更容易地流经深层网络，并改善极深架构的训练效果。
软目标: 在知识蒸馏中用作监督信号的教师模型概率分布，携带硬标签之外的类别相似性信息。
softmax: 一种将 logits 转换为概率分布的激活函数，输出之和为 1，用于多类别分类。
稀疏 Tensor Core: Tensor Core 的一种变体，通过跳过满足约束的零值，加速其支持的结构化稀疏模式，例如 2:4 稀疏性。
稀疏性: 张量中许多值恰好为零的性质。当零值具有合适的结构，且有专用稀疏内核或硬件支持时，稀疏性可以提高计算效率；接近零的值只有在剪枝后才计入。
SPEC CPU: 由系统性能评估合作组织开发的标准化基准测试套件，使用实际应用而非合成测试来衡量处理器性能。
特殊函数单元（SFU）: 用于执行指数、倒数、求根以及某些激活函数原语等特殊运算的专用硬件，这些运算难以直接映射到普通算术单元或矩阵乘法单元。
特异度: 分类模型正确识别出的实际阴性病例所占比例，也称为真阴性率；对于避免大量假阳性使转诊系统不堪重负十分重要。
SPECpower: 一种衡量服务器在不同工作负载水平下能效的基准测试方法，可直接比较计算系统中功耗与性能的权衡。
推测解码: 自回归语言模型的一种优化技术，由较小模型生成草稿词元，再由较大模型验证，从而在保持质量的同时加速推理。
光速（延迟）: 信息传输的物理速度极限（在光纤中约为 200,000 km/s），构成网络延迟不可消除的下界，因此对于需要在长距离通信条件下实现低于 10 ms 响应时间的应用，必须采用边缘计算。
状态字典: 框架序列化时使用的从模块或优化器名称到张量的映射，用于保存、加载模型和优化器状态，以及创建其检查点。
静态图: 在执行开始前就已完整定义的计算图，支持全面优化和高效部署，但要求预先指定所有操作，因此限制了运行时灵活性。
静态量化: 一种在校准阶段一次性确定量化参数，并在推理过程中保持参数不变的量化方法，计算效率较高，但适应性弱于动态方法。
统计学习: 20 世纪 90 年代兴起的机器学习时代，将研究重点从基于规则的符号 AI 转向能够从数据中学习模式的算法，为现代数据驱动的人工智能方法奠定了基础。
随机梯度下降: 梯度下降的一种变体，使用单个训练样本或小批量样本而非整个数据集来估计梯度，从而降低内存需求并支持在线学习。
直通估计器（STE）: 一种梯度近似方法，使训练过程中的梯度能够通过舍入等不可微操作，常用于量化感知训练。
流式摄取: 一种在数据到达时进行实时处理的数据处理模式，对需要即时处理和低延迟响应的应用至关重要。
流处理: 一种实时数据处理方法，在连续数据流到达时进行处理，从而支持对事件的即时响应和模式检测。
步幅: 卷积滤波器在输入上移动的步长，控制输出的空间维度以及各次滤波器应用之间的重叠程度。
结构化剪枝: 一种移除整个计算单元（如神经元、通道或层）的剪枝方法，生成规模更小的稠密模型，相较于非结构化剪枝产生的稀疏矩阵，这类模型对硬件更友好。
监督学习: 一种机器学习方法，模型从带标签的训练样本中学习，以对新的无标签数据进行预测。
符号人工智能: 一种使用问题的高层符号表示、逻辑和搜索算法的人工智能方法，在深度学习革命之前占据主导地位，以专家系统和基于规则的推理为代表。
合成基准测试: 为衡量系统性能的特定方面而人工设计的测试程序，区别于基于真实应用和工作负载的基准测试。
合成数据: 使用算法、仿真或生成模型人工生成的数据，用于补充真实世界的数据集，以应对数据可用性限制或隐私问题。
系统熵: 机器学习系统随着世界变化（漂移）或隐藏依赖关系累积（技术债务）而逐渐退化的趋势，需要主动投入精力（运维）来维持有序状态。
片上系统（SoC）: 将计算机或电子系统的大部分或全部组件集成在单个芯片上的集成电路，包括 CPU、GPU、内存和专用处理器。常用于移动设备和嵌入式系统，以节省空间并提高能效。
系统协同设计: 对算法、软件和硬件进行联合设计，使模型结构和执行方式适配物理能力与约束。
系统集成: 将各种组件和子系统组合为统一、可用的系统，使其作为一个整体高效、可靠地运行的过程。
系统思维: 一种通过考察各个组件如何相互作用并影响整个系统来理解复杂系统的方法。在机器学习中，数据、算法、硬件和部署环境必须有效协同，因此系统思维尤为重要。
脉动阵列: 一种专用硬件架构，通过使数据流经处理单元网格来高效执行矩阵运算，最大限度地减少数据移动和能耗。

T

尾延迟: 系统响应时间的高百分位数，通常以 P95 或 P99 延迟衡量，对描述峰值负载下的慢请求十分重要，但不等同于绝对最坏情况。它是对延迟中位数和均值的补充，而非替代。
定制化推理基准测试: 针对特定部署环境或用例设计的专门性能测试，考虑其特有的约束和优化要求。
双曲正切函数（tanh）: 将输入映射到 (-1, 1) 的双曲正切激活函数，提供以零为中心的输出。
技术债务: 开发过程中为求快捷而作出的设计决策所累积的长期维护成本。在机器学习系统中，由于数据依赖关系和模型复杂性，这一问题尤为突出。
遥测: 自动收集并传输分布式系统的性能数据和指标，以支持远程监控和分析。
张量: 用于表示神经网络中数据的多维数组，将标量（0 维）、向量（1 维）和矩阵（2 维）推广到更高维度。
张量核心（Tensor Core）: 一种专用的 GPU 矩阵运算单元，用于加速张量分块上的混合精度乘累加运算。
张量分解: 将矩阵分解推广到高阶张量的方法，通过将权重张量表示为参数更少的小张量的组合来压缩神经网络层。
张量并行: 一种模型并行策略，将单个张量运算（如矩阵乘法）拆分到多个设备上，从而降低每个设备的内存需求；当计算时间的减少量超过新增通信时间时，还可能降低大型网络层的延迟。
张量处理单元（TPU）: Google 专门为机器学习工作负载设计的定制专用集成电路，针对矩阵运算进行了优化，并采用脉动阵列架构。
TensorFlow: Google 开发的综合性机器学习框架，为从研究到生产的整个机器学习流水线提供工具，同时支持即时执行和基于图的计算，并具有广泛的生态系统支持。
TensorRT: NVIDIA 的推理优化库，通过算子融合和降低精度等技术加速 GPU 硬件上的深度学习推理。
三值化: 一种将权重限制为三个值（通常为 -1、0、+1）的极端量化技术，在实现显著压缩的同时，保留比二值量化更强的表示能力。
热设计功耗（TDP）: 设备或散热系统在典型最大工作负载下被设计为能够持续散除的功率与热量水平。
热降频: 移动设备和嵌入式设备中的一种保护机制，通过降低处理器时钟频率和性能来防止过热，通常会限制设备端机器学习推理的持续性能。
吞吐量: 系统处理数据或完成操作的速率，通常以每秒操作数衡量，对大型模型的训练至关重要。
每个输出词元耗时（TPOT）: 自回归解码过程中首个词元之后的逐词元延迟，反映解码吞吐量和内存带宽的限制。
达到目标准确率的时间: 将模型训练至指定验证准确率所需的实际经过时间。
首词元时间（TTFT）: 在流式大语言模型服务中，从请求到达到生成首个词元的时间，包括预填充、调度和初始响应延迟。
TinyML: 一个专注于在微控制器和传感器等资源极度受限的嵌入式设备上部署机器学习模型的领域，其运行功率范围为毫瓦级至不足一瓦，内存、功率和计算能力均受到严格限制。也称为微型机器学习。
TOPS: 每秒万亿次操作，是表示系统一秒内能够执行多少万亿次操作的操作速率单位。它通常用于报告低精度整数工作负载的性能，因此必须明确操作类型和精度。
总拥有成本（TCO）: 一种用于机器学习系统的综合性财务指标，涵盖系统整个生命周期内的训练、推理和运营成本。
训练与服务分离: 一种混合架构模式，在强大的云基础设施上执行计算密集型模型训练，再对训练好的模型进行优化，并将其部署到资源受限的边缘设备或移动设备上进行推理。
训练: 使用数据或交互经验以及优化过程调整神经网络参数，以最小化损失或最大化奖励的过程。
训练与服务偏差: 模型训练与生产服务期间特征或数据计算方式不一致的现象，可能导致模型性能下降。常见原因包括训练与推理之间的预处理流水线、特征计算时机或数据源不同。
迁移学习: 一种利用相关任务上预训练模型所获得知识的机器学习技术，通过复用已学习的特征和表示，在数据有限的新任务上实现更快的训练和更好的性能。
Transformer: 一种由注意力机制、前馈模块、残差连接和归一化构成的神经网络架构；其原始设计去除了循环和卷积，但后续变体可能会引入这些机制。
平移等变性: 输入发生平移时，输出特征图也发生相应平移的性质，区别于舍弃位置信息的不变性。
平移不变性: 输入发生平移时，模型输出保持不变的性质。卷积具有平移等变性；池化或全局聚合可以产生近似不变性。
Tucker 分解: 一种使用核心张量和因子矩阵将奇异值分解推广到高阶张量的张量分解方法，常用于压缩卷积神经网络层。
电视白频谱: 未被使用的广播频率，可重新用于提供互联网连接。例如，FarmBeats 等系统利用这些频率，将网络接入扩展到偏远地区的农业传感器和物联网设备。

U

均匀量化: 一种将数值范围划分为等间距区间的量化方法，实现简单，但对于非均匀数值分布可能并非最优。
通用近似定理: 一项理论结果，证明具有足够宽度和适当非线性激活函数的神经网络，可以以任意精度逼近紧致域上的任意连续函数。
数据的非同寻常的有效性: 一种经验观察：对于许多问题，增加数据比改进算法更有效，这推动了以数据为中心的人工智能范式。
非结构化剪枝: 一种在保留整体网络架构的同时移除单个权重的剪枝方法，产生的稀疏权重矩阵需要专门的硬件支持才能实现计算收益。
非结构化稀疏性: 一种模型稀疏形式，单个权重在不遵循任何特定模式的情况下被设为零，形成不规则的稀疏模式，需要专门的硬件支持才能实现计算收益。

V

验证问题: 模型测试期间发现的问题，表明存在性能不佳、过拟合、数据质量问题或其他必须在部署前解决的问题。
梯度消失问题: 深度神经网络中的一种问题，梯度在逐层反向传播时呈指数级减小，使靠近输入的网络层难以有效学习。
向量运算: 同时处理多个数据元素的计算操作，使神经网络中的逐元素变换能够高效并行执行。
验证差距: 有限测试集的覆盖范围与机器学习系统在生产环境中可能遇到的更大输入空间之间的不匹配。
版本管理: 跟踪数据集、模型和流水线随时间变化的实践，为机器学习系统提供可复现性、回滚能力和审计记录。
良性循环: 深度学习中的一种自我强化过程，数据可用性、算法和计算能力的改进分别推动其他领域的进一步发展，从而加速整体进步。
冯·诺依曼瓶颈: 传统计算机架构中处理器与内存之间的共享总线所导致的性能限制，在这种情况下，数据移动的代价高于计算。

W

仓库级计算机（WSC）: 作为单台可编程计算机运行的数据中心，将计算、存储、网络以及故障视为系统层面的资源。
线程束: NVIDIA GPU 上由 32 个线程组成的一组线程，其中的活动线程在同一时刻执行同一条指令；它是 NVIDIA GPU 上线程调度的基本单位。
Waymo: Alphabet Inc. 的一家子公司，代表了机器学习系统在自动驾驶汽车技术中的领先部署，展示了机器学习系统如何在安全关键环境中跨越嵌入式系统与云基础设施。
弱监督: 一种使用通过启发式方法、远程监督或程序化方法更高效地获取的较低质量标签，而非专家手工标注的方法。
网页抓取: 一种从网站自动提取数据以构建定制数据集的技术，需要审慎考虑法律、伦理和技术约束。
权重: 一种可学习参数，用于确定不同层神经元之间的连接强度，在训练期间进行调整以最小化损失函数。
权重矩阵: 神经网络中连接一层与另一层的权重的有序集合，使计算能够通过矩阵运算高效进行。
权重共享: 在不同空间位置使用相同参数的实践，如卷积网络中的做法，在减少参数数量的同时保持模式检测能力。
Whetstone: 由英国国家物理实验室的 Curnow 和 Wichmann 开发的早期基准测试，于 1972 年首次以 ALGOL 60 程序的形式发布，随后于 1976 年发布了经典的 FORTRAN 版本。它以 MWIPS（每秒百万条 Whetstone 指令）衡量浮点运算性能，成为最早得到广泛采用的标准化性能测试之一。
工作流编排: 对复杂机器学习流水线序列进行自动协调和管理，确保分布式系统中的执行顺序、依赖关系管理和错误处理正确无误。

X

XLA: 加速线性代数，是一种面向线性代数运算的领域专用编译器，通过为 CPU、GPU 和 TPU 等各种硬件平台生成高效代码，优化 TensorFlow 和 JAX 计算。