NeurIPSSpotlight决策模型有了全新预训练范式统一框架算法鲁棒性智能体信息论

论文一作为之江实验室研究专家、香港中文大学在职博士李蓝青，指导老师为香港中文大学计算机科学与工程系王平安(PhengAnnHeng)教授。同济大学硕士生张海为共同第一作者，指导老师赵君峤教授为论文通讯作者。

现如今，以GPT为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。

强化学习（RL）作为一种经典的时序决策模型的训练方法，势必成为决策大模型训练及微调的核心技术之一。而由于任务和数据的复杂性，我们希望模型在训练时能摆脱传统强化学习与环境在线交互的方式，实现在海量历史数据中进行离线、多任务的高效学习，这一新范式被称为「离线元强化学习」（OfflineMeta-RL）。

问题背景

另一方面，复杂多变的真实场景使得智能体处理多任务能力的必要性与日俱增，这种使智能体像人类一样同时学习多种技能并进行举一反三的范式被称作「元强化学习」（meta-RL）。

离线强化学习和元强化学习作为强化学习的两个分支，有着各自独特的优势。前者由于摆脱了与环境的在线交互，可以重复利用历史数据进行训练，具有高安全性、高样本效率的特点；而后者聚焦多任务及迁移学习，在泛化能力方面表现突出，两者优势互补。

于是在2021年前后，人们开始尝试结合两种范式来训练更加强大的智能体，其中主流的一类方法被称为「基于语境的离线元强化学习」（Context-BasedOfflineMeta-RL，COMRL)，其核心思想是将当前任务的表征作为额外的状态信息，训练一个适用于任意任务/环境的通用策略（universalpolicy）:

在该框架下，如何学习鲁棒、有效的任务表征Z成为核心问题，而其中最重要的挑战是语境偏移（contextshift）。由于智能体的训练数据是离线也就是固定分布的，但在测试时面临的任务语境未知且多变，导致训练和测试集间可能在状态-动作（state-action）维度或者任务维度上存在巨大分布偏移，这对于模型的鲁棒性、泛化性提出了极高要求。

针对上述问题，现有主流方法例如FOCAL［1］、CORRO［2］和CSRO［3］陆续提出了多种优化目标，利用度量学习（metriclearning）、对比学习（contrastivelearning）等思想进行任务表征学习：

然而，现有方法主要聚焦于对损失函数的经验性改进，缺乏针对任务表示学习尤其是语境偏移的系统性理论支持和设计指导。

基于信息论的统一理论框架UNICORN

UNICORN的核心创新在于借助信息论，从数学定义、因果关系分解、中心定理三个层面依次递进，首次系统性地定义和解构了COMRL中的任务表示学习这一问题，并通过严格理论证明将现有方法的优化目标进行了统一，由此提出并验证了两种新的算法实现，以启迪未来更多新方法的设计。

1.任务表示学习的数学定义

2.因果关系分解

3.中心定理

该中心定理引申出2个重要结论，为未来COMRL领域的新方法设计指明了道路：

基于上述洞察，为了展示UNICORN框架的指导意义，通过对I(Z;M)的近似，我们提出了两种新的算法实现：

实验结果

UNICORN的广泛适用性和鲁棒性

1.BehaviorIID/OOD(训练集与测试集的行为策略采样于相同分布/不同分布)

结论：UNICORN算法在同分布测试集上性能媲美SoTA，在分布外测试集上性能显著优于现有其他方法。

2.不同质量的数据集表现

结论：UNICORN算法（尤其无监督版本）在不同质量的数据集上的性能均达到SoTA。

3.不同模型架构的可迁移性（应用于DecisionTransformer（DT）的测试结果）

结论：UNICORN算法在MLP/DecisionTransformer架构上相比现有方法均呈现明显优势，可以作为即插即用的模块广泛应用于其他RL算法中。

4.对于分布外任务的泛化性

图左为分布外任务的构造方式：以Ant-Dir为例，训练任务的目标方向采样自第二、三象限，测试任务分布于第一、四象限，两者完全不重叠。图右为测试结果：自监督UNICORN为唯一取得正向小样本迁移（positivefew-shottransfer）的算法。

结论：利用无监督UNICORN中的自编码器进行domainrandomization和model-basedRL，可以将智能体的能力外推至分布外的任务，这一点是现有其他方法都无法做到的。

UNICORN的未来展望

为拓展决策大模型的能力边界提供理论基础

UNICORN为离线元强化学习提供了统一理论基础和算法设计准则，对于决策大模型的大规模离线、多任务预训练及微调，从而进一步拓展决策大模型的能力边界具有指导意义。该技术有助于解决药物设计、精准医疗、具身智能等前沿领域面临的AI模型的泛化性、多目标优化、样本利用率等挑战，同时，团队也在探索将UNICORN框架进一步推广到在线强化学习等更多场景中。

参考文献：

［1］.LanqingLi,RuiYang,andDijunLuo.Focal:Efficientfully-offlinemeta-reinforcementlearningviadistancemetriclearningandbehaviorregularization.ICLR2021.

［2］.HaoqiYuanandZongqingLu.Robusttaskrepresentationsforofflinemeta-reinforcementlearningviacontrastivelearning.ICML2022.

［3］.YunkaiGao,etal.Contextshiftreductionforofflinemeta-reinforcementlearning.NeurIPS2023.