关键词：人工智能，强化学习，自然语言强化学习
从数值到语言：新范式的萌芽
自然语言强化学习
传统强化学习虽然在数学上严谨优雅，但其单一数值反馈机制与人类学习方式存在巨大差距。研究团队从象棋教练指导学生的场景获得启发：教练不会简单说“这步棋的价值是0.7”，而是会详细解释“这个走法控制了中心，限制了对手的机动性，同时为王翼进攻创造了条件”。这种观察促使团队思考：能否将丰富的语言反馈信号整合进学习框架？
这个思路的关键突破来自对传统强化学习本质的重新思考：既然传统RL可以通过蒙特卡洛和时序差分等方法进行学习，这些方法是否可以扩展到语言空间？基于这一洞察，团队提出了NLRL框架，将传统RL中的数学概念类比为语言形式。以下是一个对应关系示意图。
具体而言，NLRL引入“语言任务指令”（T_L）替代抽象的奖励函数，并设计了度量函数F来评估轨迹描述D_L(τ_π)与任务指令的完成度。
语言化的决策框架
在NLRL中，MDP的每个组成部分都被重新定义为文本形式。状态变为包含完整上下文的自然语言描述，动作空间转化为带有推理过程的语言决策，而环境反馈则扩展为包含原因分析的详细评估。例如，在迷宫环境中的状态描述会包含位置、周围环境、历史探索等完整信息。
NLRL中的策略π_L被创新性地分解为两个部分：π_L(a,c|s)=π_L(c|s)π_L(a|c,s)，其中c代表思维过程。这种分解使得决策过程变得完全透明。以国际象棋为例，系统会先分析局势（“白方控制中心点，黑方王翼薄弱”），提出计划（“开展王翼进攻，同时固守中心”），最后给出具体建议（“Nf3-e5，威胁f7并加强中心控制”）。
语言价值评估
NLRL将传统的标量值函数V(s)和Q(s,a)扩展为语言价值函数V^L_π和Q^L_π。这种扩展使得评估变得更加丰富和可解释。评估结果不仅包含胜率，还涵盖空间利用、子力配合等多个角度的分析，并提供具体的改进建议。
从理论到实践
基于这一洞察，研究团队提出了三个关键技术创新，构建了完整的NLRL实现框架：
语言蒙特卡洛估计
在传统强化学习中，蒙特卡洛方法通过采样多条轨迹并取平均值来估计状态价值。但在语言空间中，我们无法直接对文本描述进行算术平均。研究团队利用大语言模型作为信息聚合器(aggregator)。
具体来说，当系统需要评估某个状态时，它会：
1.从该状态开始采样K条完整轨迹
2.将每条轨迹转化为详细的文本描述
3.使用专门设计的提示让LLM扮演“专家评估员”的角色
4.LLM分析所有轨迹描述，提取关键模式和见解
5.生成一个综合性的评估报告
例如，在国际象棋中，系统可能会分析说：“基于观察到的20个可能发展，此位置对白方有利。在80%的变化中，白方能够通过控制中心格和针对f7的战术威胁获得优势。但需要注意的是，如果黑方成功完成王翼城堡，局势可能趋于平衡。”
语言时序差分学习
传统的时序差分学习基于贝尔曼方程，将长期价值分解为即时奖励和未来状态的折扣价值。NLRL创新性地提出了语言贝尔曼方程，将这种时序关系扩展到语言空间。
在NLRL中，语言时序差分学习包含三个关键组件：
1.文本描述生成器d：将状态转换(s,a,r,s')转化为自然语言描述
3.语言组合函数G2：将即时反馈与未来评估结合
这三个组件协同工作的方式如下：
在实践中，这种方法表现出了独特的优势：
语言策略提升
这种提升机制的工作原理是：
1.对当前状态收集多个候选动作
2.获取每个动作的语言价值评估
4.生成改进的决策链路，包括：
例如，在迷宫导航任务中，系统可能会这样分析：“向右移动是最优选择，因为：1）根据之前的探索经验，右侧路径更可能通向目标2）即使这条路不是最短路径，也为我们保留了回退的选项3）相比向上移动可能遇到的死胡同，这个选择风险更小。”
实验验证
研究团队在三个具有代表性的环境中系统地验证了NLRL的效果。这些实验不仅展示了NLRL的性能优势，更重要的是证明了该框架在不同类型任务中的普适性和可扩展性。
迷宫导航-基于prompt的自然语言策略迭代
在复杂的迷宫导航任务中，研究团队测试了纯基于prompt的自然语言策略迭代算法。研究团队选择了两种具有挑战性的迷宫环境进行测试：双T型迷宫和中等复杂度迷宫。在这些环境中，智能体需要从随机初始位置导航到目标位置，同时避免撞墙。通过语言TD估计，在双T型迷宫中实现了-11.19±2.86的平均奖励，远优于基线方法的-27.29±4.43。但NLRL真正的优势不仅仅体现在数字上。系统能够清晰地解释每个决策的原因，例如：“选择向南移动，因为：1）北边是死胡同，我们之前已经探索过2）南向路径似乎更接近目标位置3）即使这条路不是最优解，我们仍保留了向东撤退的选项。”实验还发现，增加变化数量和前瞻步数能进一步提升性能。
突破棋(Breakthrough)-自然语言价值函数
在5x5突破棋（状态空间达108）这个几乎没有人类数据的任务中，NLRL纯依靠环境反馈训练出了高质量的语言评估器。通过混合不同水平的MCTS策略数据构建训练集，评估器达到了0.85的准确率，显著超越LLAMA-3.1-70b的0.61以及GPT-4o的0.58。更重要的是，这个评估器能提供专业级别的局势分析。例如：“黑方略占优势，原因有三：1）在d4和e4形成了稳固的双兵链2）白方右翼的兵形成了薄弱点3）黑方的推进速度比白方快半步。建议白方通过c3-c4来争夺中心控制权。”
井字棋-自然语言Actor-Critic
在井字棋环境中，团队实现了完整的语言Actor-Critic系统。通过动作选择掩码防止幻觉、经验缓冲区解决遗忘问题、持续的迭代优化等创新，系统在随机对手下实现90%以上胜率，面对确定性策略甚至能保持100%的胜率，同时保持决策过程的清晰可解释性。
本论文由伦敦大学学院、上海交通大学、布朗大学、布里斯托大学、新加坡国立大学以及萨里大学的研究者合作完成。冯熙栋是论文第一作者，即将毕业于伦敦大学学院。目前是GoogleDeepMind的ResearchScientist，主要研究方向包括强化学习与生成模型。刘博是本推文作者，新加坡国立大学二年级博士生，研究强化学习、推理及机器学习系统在复杂现实环境中的应用。