Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents
作者: Peng Xu, Sijia Chen, Junzhuo Li, Xuming Hu
分类: cs.LG, cs.AI
发布日期: 2026-06-24
备注: 16 pages, 7 figures, 5 tables. Under review at EMNLP 2026
💡 一句话要点
提出语义一致性策略优化以解决强化学习中的信用不一致问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 大型语言模型 语义一致性 奖励塑形 多步骤任务
📋 核心要点
- 现有的基于组的强化学习方法在长时间跨度和稀疏奖励任务中存在信用不一致的问题，导致相似动作获得相反的信用。
- 本文提出的语义一致性策略优化（SCPO）通过从成功的兄弟步骤中恢复信用，解决了这一不一致性问题。
- 实验结果表明，SCPO在ALFWorld和WebShop上分别达到了93.7%和74.8%的成功率，显著提升了在困难多步骤任务中的表现。
📝 摘要（中文）
基于组的强化学习有效地为长时间跨度、稀疏奖励任务后训练大型语言模型（LLM）代理，通过从轨迹结果中推导逐步信用。然而，这种方法将每一步的信用与其轨迹的最终结果绑定，导致语义上相似的中间步骤根据轨迹的成功或失败获得相反的信用。这种语义信用不一致性向相似的动作发送了相互矛盾的梯度，并浪费了失败轨迹中的部分正确进展。为此，本文提出了语义一致性策略优化（SCPO），这是一种无值奖励塑形方法，通过从同一轨迹组中的成功兄弟恢复逐步信用来缓解这种不一致性。具体而言，SCPO对每个失败步骤与成功兄弟进行评分，并为沿着该兄弟的新进展添加正的逐步信用。在ALFWorld和WebShop上，SCPO的表现与强大的基于组的基线相匹配或超过，ALFWorld的成功率达到93.7±4.1%，WebShop为74.8±2.0%，提升主要集中在最困难的多步骤任务上。
🔬 方法详解
问题定义：本文旨在解决基于组的强化学习中存在的语义信用不一致性问题。现有方法将每一步的信用与最终结果绑定，导致相似的中间步骤在成功与失败的轨迹中获得相反的信用，浪费了部分正确的进展。
核心思路：SCPO的核心思想是通过对每个失败步骤与成功兄弟进行评分，恢复逐步信用，从而减轻信用不一致性。这样设计的目的是为了更好地利用失败轨迹中的信息，提升学习效率。
技术框架：SCPO的整体架构包括信用评分模块和奖励塑形模块。信用评分模块负责评估失败步骤与成功兄弟的相似性，而奖励塑形模块则根据评分结果为新进展添加正的逐步信用。
关键创新：SCPO的主要创新在于其无值奖励塑形方法，通过成功兄弟恢复信用，避免了传统方法中信用不一致的问题。这一方法与现有的基于结果的信用分配方式有本质区别。
关键设计：在SCPO中，关键参数包括成功兄弟的选择标准和信用评分的计算方式。损失函数设计上，强调了对新进展的正向奖励，以鼓励代理在失败轨迹中继续探索。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SCPO在ALFWorld上达到了93.7±4.1%的成功率，在WebShop上为74.8±2.0%。这些结果不仅匹配了强大的基于组的基线，还在最困难的多步骤任务中表现出显著的提升，证明了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能助手等需要长时间决策的任务。通过提高强化学习的效率，SCPO可以帮助这些系统更好地处理稀疏奖励环境，提升其智能水平和适应能力。
📄 摘要（原文）
Group-based reinforcement learning effectively post-trains LLM agents for long-horizon, sparse-reward tasks by deriving step-level credit from trajectory outcomes. However, this ties a step's credit to its rollout's final outcome: semantically near-identical intermediate steps receive opposite credit depending on whether their trajectory eventually succeeded or failed. Such semantic credit inconsistency sends conflicting gradients to similar actions and wastes the partially-correct progress inside failed rollouts. Motivated by this, we propose Semantic Consistency Policy Optimization (SCPO), a value-free reward-shaping method that mitigates this inconsistency by recovering step-level credit from successful siblings in the same rollout group. Concretely, SCPO scores each failed step against a successful sibling and adds positive step-level credit for new progress along that sibling. On ALFWorld and WebShop, SCPO matches or exceeds strong group-based baselines, reaching 93.7+/-4.1 percent success on ALFWorld and 74.8+/-2.0 percent on WebShop at 1.5B parameters, with gains concentrated on the hardest multi-step tasks.