扩散模型如何构建新一代决策智能体？超越自回归，同时生成长序列规划轨迹智能体新浪科技

设想一下，当你站在房间内，准备向门口走去，你是通过自回归的方式逐步规划路径吗？实际上，你的路径是一次性整体生成的。

近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。此外，扩散模型在策略表征和数据合成方面也能为现有的决策智能算法提供更优的选择。

扩散模型在强化学习中扮演的角色

轨迹规划

策略表征

扩散规划器更近似传统强化学习中的MBRL，与之相对，将扩散模型作为策略更类似于无模型强化学习。Diffusion-QL首先将扩散策略与Q学习框架结合。由于扩散模型拟合多模态分布的能力远超传统模型，扩散策略在由多个行为策略采样的多模态数据集中表现良好。扩散策略与普通策略相同，通常以状态作为条件生成动作，同时考虑最大化Q(s,a)函数。Diffusion-QL等方法在扩散模型训练时加上加权的价值函数项，而CEP从能量的视角构造加权回归目标，用价值函数作为因子，调整扩散模型学到的动作分布。

数据合成

扩散模型可以作为数据合成器，来缓解离线或在线强化学习中数据稀少的问题。传统强化学习数据增强方法通常只能对原有数据进行小幅扰动，而扩散模型强大的分布拟合能力使其可以直接学习整个数据集的分布，再采样出新的高质量数据。

其他类型

除了以上几类，还有一些零散的工作以其他方式使用扩散模型。例如，DVF利用扩散模型估计值函数。LDCQ首先将轨迹编码到隐空间上，再在隐空间上应用扩散模型。PolyGRAD用扩散模型学习环境动态转移，允许策略和模型交互来提升策略学习效率。

离线强化学习

扩散模型的引入有助于离线强化学习策略拟合多模态数据分布并扩展了策略的表征能力。Diffuser首先提出了基于分类器指导的高奖励轨迹生成算法并启发了大量的后续工作。同时，扩散模型也能应用在多任务与多智能体强化学习场景。

在线强化学习

研究者证明扩散模型对在线强化学习中的价值函数、策略也具备优化能力。例如，DIPO对动作数据重标注并使用扩散模型训练，使策略避免了基于价值引导训练的不稳定性；CPQL则验证了单步采样扩散模型作为策略能够平衡交互时的探索和利用。

模仿学习

模仿学习通过学习专家演示数据来重建专家行为。扩散模型的应用有助于提高策略表征能力以及学习多样的任务技能。在机器人控制领域，研究发现扩散模型能够在保持时序稳定性的条件下预测闭环动作序列。DiffusionPolicy采用图像输入的扩散模型生成机器人动作序列。实验表明扩散模型能够生成有效闭环动作序列，同时保证时序一致性。

轨迹生成

扩散模型在强化学习中的轨迹生成主要聚焦于人类动作生成以及机器人控制两类任务。扩散模型生成的动作数据或视频数据被用于构建仿真模拟器或训练下游决策模型。UniPi训练了一个视频生成扩散模型作为通用策略，通过接入不同的逆动力学模型来得到底层控制命令，实现跨具身的机器人控制。

数据增强

扩散模型还可以直接拟合原始数据分布，在保持真实性的前提下提供多样的动态扩展数据。例如，SynthER和MTDiff-s通过扩散模型生成了训练任务的完整环境转移信息并将其应用于策略的提升，且结果显示生成数据的多样程度以及准确性都优于历史方法。

未来展望

生成式仿真环境

如图1所示，现有研究主要利用扩散模型来克服智能体和经验回放池的局限性，利用扩散模型增强仿真环境的研究比较少。Gen2Sim利用文生图扩散模型在模拟环境中生成多样化的可操作物体来提高机器人精密操作的泛化能力。扩散模型还有可能在仿真环境中生成状态转移函数、奖励函数或多智能体交互中的对手行为。

加入安全约束

通过将安全约束作为模型的采样条件，基于扩散模型的智能体可以做出满足特定约束的决策。扩散模型的引导采样允许通过学习额外的分类器来不断加入新的安全约束，而原模型的参数保持不变，从而节省额外的训练开销。

检索增强生成

组合多种技能

与分类器引导或无分类器引导相结合，扩散模型可以组合多种简单技能来完成复杂任务。离线强化学习中的早期结果也表明扩散模型可以共享不同技能之间的知识，从而有可能通过组合不同技能实现零样本迁移或持续学习。