清华团队「超级对齐」新研究：如何定义？怎样实现？算法

超级智能（Superintelligence）是人工智能（AI）发展的更高维方向，具备远超人类的认知和能力，其潜在应用令人期待，但也将带来前所未有的治理与安全挑战。

哲学家NickBostrom在2014年出版的《超级智能：路径、危险、策略》一书中写道，“超级智能如果被创造出来，将很难控制，它可能会为了实现目标而占领世界。”

如何确保这些超人类智能系统仍然安全、可靠并与人类价值观保持一致，已经成为科技公司、高校院所和监管机构重点研究的关键问题。尤其是，当任务复杂到人类专家难以标注，而模型智能程度也已超过人类时，传统的基于人类反馈的对齐方法将不再奏效。

日前，来自清华大学、电子科技大学的研究团队从学习的角度讨论了超级对齐的概念，通过概述从大规模预训练、监督微调到对齐训练的学习范式转变来回答上述问题，并把“超级对齐”定义为：

当人类专家标注的任务变得非常复杂，而模型又比人类专家更强时，设计有效且高效的对齐算法，以可扩展的方式从有噪声标记的数据（逐点样本或成对偏好数据）中学习。

首先，他们强调了超级对齐中的一些关键研究问题，即从弱到强的泛化、可扩展的监督和评估。

然后，他们提出了超级对齐的概念框架，其由三个模块组成：攻击者，它生成对抗查询，试图暴露学习者模型的弱点；学习者，它将通过从批评者模型和很少人类专家生成的可扩展反馈中学习来完善自己；批评者，它为给定的查询-响应对生成批评或解释，目标是通过批评来改进学习者。

最后，他们强调了超级对齐的一些未来研究方向，包括识别新出现的风险和多维对齐。

从学习视角定义「超级对齐」

研究团队从学习视角出发，回顾了大语言模型从预训练到对齐训练的演变，并定义了超级对齐的独特需求。他们指出，现有的大语言模型（LLM）在训练过程中经历了从预训练到对齐训练的转变，但两者各有侧重，未能全面满足超人类智能任务对安全与可靠性的需求。

预训练阶段通常采用海量的无监督文本数据，通过预测下一个token的方式来捕捉语言的广泛模式，赋予模型强大的跨任务泛化能力。然而，这一阶段并未嵌入明确的人类价值观和安全约束。

对齐训练则通过RLHF（基于人类反馈的强化学习）等方法，利用高质量标注数据进一步调整模型生成行为，使其更符合人类需求。尽管如此，对齐训练依然存在巨大的局限性：对人类标注的依赖，使得这一方法难以应对超复杂任务，而当任务的复杂性超越人类能力时，传统对齐方法更是失效。

基于上述的梳理，研究团队提出了上述的“超级对齐”的概念。

三大关键研究问题

研究团队进一步指出了超级对齐面临的三大关键研究问题，分别是“弱到强的泛化”、“可扩展监督”和“对齐评价”。

其次，他们指出了可扩展监督的重要性。传统的监督方式依赖人类专家提供标签，但在超人类任务中，专家标注往往成本高昂且难以满足需求。因此，研究团队提出可以通过任务分解的方式，将复杂任务拆解为易于处理的子任务，同时结合递归奖励建模逐步优化。

此外，强模型生成的反馈和智能体（agent）辩论机制也为可扩展监督提供了新的可能性，减少了对人类参与的依赖。然而，这些方法仍然面临挑战，例如，如何构建可靠的反馈生成模型，以及如何高效整合人类与人工智能的监督能力。

超级对齐实现框架：攻击者、学习者和批评者

研究团队构建出一个系统化的超级对齐框架，通过攻击者（Attacker）、学习者（Learner）和批评者（Critic）三个模块来实现对齐优化：

图｜超级对齐概念框架。

其中，攻击者模块负责为模型设计极具挑战性的对抗性任务，以发现其潜在问题。研究团队通过模拟高难度场景，如数学推理、伦理决策或安全敏感任务，生成能够测试模型能力极限的查询。这些任务不仅暴露了模型的逻辑漏洞和行为偏差，也为后续优化提供了参考数据。

研究团队指出，攻击者模块的核心目标是揭示模型的真实弱点，确保优化能够针对问题本质进行改进。这种前沿方法确保了模型在面对最复杂场景时能够保持稳定和可靠。

在攻击者模块生成任务后，学习者模块通过强化学习对模型进行优化。借助PPO等强化学习算法，学习者模块不断调整模型参数，以提升其在复杂任务中的表现。

学习者模块的独特之处在于它能够通过多轮迭代学习，从反馈中提取高效改进策略。这种动态优化方式不仅提高了模型的对齐性能，还显著降低了传统训练方法对人工监督的依赖。

批评者模块在整个框架中充当“导师”的角色。它通过对模型行为的详细评估，为学习者模块提供改进建议和优化方向。批评者模块能够生成质量分析报告，指出任务完成中的不足之处，并提出具体的改进措施。

更重要的是，批评者模块还结合了自动化评估工具，进一步提升了对齐框架的效率，使整个优化流程更为系统化和高效化。

攻击者、学习者和批评者模块之间形成了一个高效的闭环优化系统。在这一流程中，攻击者不断生成新挑战，学习者基于批评者的反馈优化模型表现，而批评者则对每轮输出进行详细评估，确保模型朝着正确的方向改进。这一闭环机制使得超级对齐框架具备了动态适应性，能够快速响应模型在新任务中的弱点。

未来展望

与此同时，研究团队将致力于构建更可靠且可扩展的监督机制，探索如何在模型能力不断提升的情况下实现人类与人工智能的高效协作。他们提出，通过结合多模型协作、任务分解以及自动化反馈生成，可以在减少人类专家负担的同时提高监督效率，为人工智能在极复杂任务中的表现提供更强的保障。

此外，他们表示，未来的研究还应该扩充对齐算法维度，将社会规范、伦理价值与地域文化的多样性纳入考量。在构建对齐框架时，确保算法能够充分理解并尊重多元文化背景下的差异性，从而避免技术应用中的伦理争议，为人工智能的发展奠定更加人性化与包容性的基础。