选自谷歌博客机器之心编译编辑：铭怿
大型机器学习模型在多个领域展现出具有变革性的结果，但在现实世界中，训练和推理效率正在成为关键需求。GoogleResearch一直在通过开发新的基础技术来提高大型ML模型的效率。本文中，谷歌以「提升模型效率」为主题，介绍如何使ML模型更加强韧、高效。
十年前，深度学习崛起的部分原因在于新算法和架构的融合、数据的显著增加以及计算能力方面的提升。过去10年里，AI和ML模型更加深入、复杂、有了更多的参数和训练数据，也因而变得更大、更繁琐，这也为机器学习历史带来了最具变革性的成果。
这些模型越来越多地应用于生产和业务应用程序中，与此同时，其效率和成本已经从次要的考虑因素演变为主要的限制。为了应对在高效架构，训练效率，数据效率和推理效率四个层面的重大挑战，谷歌继续在ML效率上投入大量资金。除了效率之外，这些模型还面临着许多关于真实性、安全性、隐私性和新鲜度的挑战。接下来，本文将重点介绍GoogleResearch为了应对上述挑战，在开发新算法方面所做的努力。
研究的基本问题在于「是否有更好的方法来参数化模型以提高效率？」2022年，研究人员专注于通过检索上下文、混合专家系统，以及提升Transformer（大型ML模型的心）的效率来研发通过增强模型来注入外部知识的新技术。
上下文增强模型
为了追求更高的质量和效率，可以使用来自大型数据库或可训练内存的外部上下文来增强神经模型。通过利用检索到的上下文，神经网络无需在其内部参数中广泛地储备知识，就能实现更好的参数效率、可解释性和真实性。
用于上下文合并的编码器-解码器交叉注意机制，允许上下文编码与语言模型推理解耦，进而提升上下文增强模型的效率。
在寻求模块化深度网络的过程中，其中一个问题是如何设计具有相应计算模块的概念数据库。研究人员提出了一种理论体系架构，将「记忆事件」（rememberevents）以sketches的形式存储在一个外部LSH表中，其中包括一个pointers模块来处理sketches。
利用加速器从大型数据库中快速检索信息是上下文增强模型的另一大挑战。研究人员开发了一种基于TPU的相似度搜索算法，该算法与TPU的性能模型保持一致，并对预期召回率提供了分析保证，实现了峰值性能。搜索算法通常涉及大量的超参数和设计选择，这使得在执行新任务时很难对它们进行调整。研究人员提出了一种新的约束优化算法，用于自动化超参数调优。将期望的成本或召回率固定为输入，所提出的算法产生的调优在经验上非常接近速度-召回率帕累托边界（speed-recallParetofrontier），并在标准基准测试中提供领先的性能。
混合专家模型
经证明，混合专家(MoE）模型是在不过度增加计算成本的前提下，提高神经网络模型容量的有效手段。MoE的基本思想是由许多专家子网络构建出一个统一网络，其中每个输入由一个合适的专家子集处理。因此，与标准神经网络相比，MoE只调用了整个模型的一小部分，从而产生了如GLaM等语言模型应用程序所示的高效率。
GLaM体系架构中的每个输入token被动态路由到64个专家网络中的两个进行预测。
对于给定的输入，路由函数负责决定应当激活哪些专家，该函数的设计具有挑战性，因为研究者希望避免对每个专家的利用不足和过度利用。最近的一项工作提出了专家选择路由，这是一种新的路由机制，它不是将每个输入token分配给top-k专家，而是将每个专家分配给top-ktoken。这将自动确保专家的负载平衡，同时也自然地允许多个专家处理一个输入token。
专家选择路由。具有预定缓冲区容量的专家被分配top-ktoken，从而保证负载平衡。每个token可以由数量不定的专家处理。
有效的Transformer
Transformer是当下正火热的序列到序列模型，在从视觉到自然语言理解等一系列具有挑战性的问题上取得了显著的成功。这种模型的核心组成部分是注意力层，它识别查询和键之间的相似性，并使用这些相似性构造一个适当的值加权组合。虽然性能强，但注意力机制的计算效率却不高，复杂度通常为输入序列长度的二次方。
随着Transformer规模的不断增长，其中一个问题的研究十分有价值，即是否有任何自然发生的结构或模式的学习模型，可以破解注意力有效的原理。为此，研究人员研究了中间MLP层中的学习嵌入，并且发现它们非常稀疏——例如，T5-Large模型有1%的非零项。稀疏性进一步表明，人们可以在不影响模型性能的情况下潜在地降低FLOPs。
另一种提高Transformer效率的方法是在注意力层中加速softmax计算。在「low-rankapproximationofthesoftmaxkernel」研究基础上，研究人员提出了一类新的随机特征，提供了softmaxkernel的首个「positiveandbounded」随机特征近似，并且在序列长度上的计算是线性的。
训练效率
高效的优化方法是现代ML应用程序的基石，在大规模设置中，这一点尤其重要。在这种设置下，即使是像Adam这样的一阶自适应方法通常也很昂贵，并且训练稳定性面临重重挑战。此外，这些方法通常对神经网络的架构不可知，从而忽略了架构的丰富性，导致训练效率低下。这也促使新技术不断被提出以更有效地优化现代神经网络模型。研究人员正在开发新的架构感知训练技术，例如，用于训练Transformer网络的一些研究，包括新的规模不变的Transformer网络和新的剪枝方法，并与随机梯度下降（SGD）结合使用，以加快训练进程。在该方法的帮助下，研究人员第一次能够使用简单的SGD有效地训练BERT，而不需要自适应。
此外，研究人员在LocoProp的帮助下提出了一种新的方法——在使用与一阶优化器相同的计算和内存资源的同时，实现与二阶优化器类似的性能。LocoProp采用模块化的神经网络视图，将它们分解成层的组合。然后允许每一层都有自己的损失函数以及输出目标和权重正则化器。有了这个设置，经过适当的前后传递后，LocoProp继续对每一层的局部损失进行并行更新。事实上，无论是理论上还是经验上，这些更新可以被证明类似于那些高阶优化器。在深度自编码器基准上，LocoProp实现了与高阶优化器相当的性能，同时更具速度优势。
与反向传播类似，LocoProp应用前向传递来计算激活。在向后传递中，LocoProp为每一层设置每个神经元目标。最后，LocoProp将模型训练拆分为跨层的独立问题，其中几个本地更新可以并行应用于每个层的权重。
SGD等优化器的核心思想是，每个数据点从分布中独立且相同地采样。可惜这在实际环境中很难满足，比如强化学习，在这种情况下，模型（或智能体）必须从基于自己预测生成的数据中学习。研究人员提出了一种新的基于反向经验重放的SGD算法，该算法可以在线性动力系统、非线性动力系统和Q-learning中找到最优解。此外，已经有研究证明该方法的增强版本IER是目前最先进的版本，并且是在各种流行的RL基准测试中最稳定的体验重放技术。
数据效率
在许多任务中，深度神经网络严重依赖于大型数据集。除了大型数据集带来的存储成本和潜在的安全/隐私问题外，在此类数据集上训练现代深度神经网络还会产生很高的计算成本。解决这个问题的可行方法之一是对数据子集进行选择。
研究人员分析了子集选择框架，设计用于实际批处理设置中的任意模型族。在这种情况下，学习器可以一次采样一个示例，同时访问上下文和true标签，但为了限制开销，只有在选择了足够多的示例批次后才能更新其状态（即进一步的训练模型权重）。研究人员开发了一种算法，称为IWeS，它通过重要性抽样来选择示例，其中分配给每个示例的抽样概率是基于在先前选择的批次上训练的模型的熵。研究所提供的理论分析证明了泛化和抽样率的界限。
训练大型网络的另一个问题是，它们可能对训练数据和部署时看到的数据之间的分布变化高度敏感，特别是在使用有限数量的训练数据时，这些数据可能无法覆盖所有部署时场景。最近的一项研究假设「极端简单性偏差」是神经网络这种脆弱性背后的关键问题，其使这一假设成为可行，导致了两种新的互补方法——DAFT和FRR——结合在一起时，可以提供明显更鲁棒的神经网络。特别是，这两种方法使用对抗性微调以及反向特征预测来加强学习网络。
推理效率
事实证明，增加神经网络的规模能够提高其预测准确性，然而，在现实世界中实现这些收益是具有挑战性的，因为大型模型的推理成本对于部署来说非常高。这促使策略提高服务效率，而不牺牲准确性。在2022年，专家研究了实现这一目标的不同策略，特别是基于知识蒸馏和自适应计算的策略。
蒸馏
在算法方面，研究通过仔细建模教师标签中的噪声，开发出了一项重新加权训练示例的重要途径，以及一项有效措施来对数据子集进行采样以获得教师标签。谷歌在《TeacherGuidedTraining:AnEfficientFrameworkforKnowledgeTransfer》中表明：不是被动地使用教师来注释固定的数据集，而是主动地使用教师来指导选择要注释的信息性样本。这使得蒸馏过程在有限的数据或长尾设置中脱颖而出。
理论方面，研究从监督复杂性角度出发，提供了一个关于蒸馏的新视角，这是一种衡量学生预测教师标签程度的方法。NTK（neuraltangentkernel）理论提供了概念性的见解。研究进一步证明，蒸馏会导致学生不适合教师模型认为难以建模的点。直观地说，这可以帮助学生将有限的能力集中在那些可以合理建模的样本上。
自适应计算
虽然蒸馏是一种降低推理成本的有效手段，但它在所有样本上都是一致的。然而，直观地说，一些简单（easy）样本可能天生就比困难（hard）样本需要更少的计算。自适应计算的目标是设计能够实现这种依赖于样本的计算的机制。
CALM（ConfidentAdaptiveLanguageModeling）为基于Transformer的文本生成器（如T5）引入了受控的早期退出（early-exit）功能。
在这种形式的自适应计算中，模型动态地修改每个解码步骤使用的Transformer层数。早期退出门使用带有决策阈值的置信度测量，该决策阈值经过校准，以满足统计性能保证。通过这种方式，模型只需要为最具挑战性的预测计算解码器层的完整堆栈。更简单的预测只需要计算几个解码器层。在实践中，该模型平均使用大约三分之一的层进行预测，在保持相同水平的生成质量的同时，速度能提升2-3倍。
一种流行的自适应计算机制是两个或多个基本模型的级联。使用级联的一个关键问题：是简单地使用当前模型的预测，还是将预测推迟到下游模型。学习何时延迟需要设计一个合适的损失函数，它可以利用适当的信号作为延迟决策的监督。为了实现这一目标，研究人员正式研究了现有的损失函数，证明由于隐含的标签平滑应用，它们可能不适合训练样本。研究展示了可以通过延迟规则的post-hoc训练来缓解这种情况，这并不需要以任何方式修改模型内部。