Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards

📄 arXiv: 2606.18810v1 📥 PDF

作者: Yingyu Shan, Yuhang Guo, Zihao Cheng, Zeming Liu, Xiangrong Zhu, Xinyi Wang, Jiashu Yao, Wei Lin, Hongru Wang, Heyan Huang

分类: cs.LG, cs.AI

发布日期: 2026-06-17

💡 一句话要点

提出SC-GRPO以解决强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 信用分配 自我条件化 KL散度 模型训练 推理任务 性能提升

📋 核心要点

  1. 现有的强化学习信用分配方法在关键推理步骤上分配不足，导致模型性能下降。
  2. 论文提出SC-GRPO，通过自我条件化的方式利用KL散度作为权重，改进了信用分配机制。
  3. 实验结果显示，SC-GRPO在多个基准测试中均优于现有方法，尤其在OOD任务中表现突出。

📝 摘要（中文）

具有可验证奖励的强化学习（RLVR）在训练大型语言模型（LLMs）进行推理任务方面取得了显著进展。然而，现有方法如GRPO在所有token上均匀分配信用，导致在常规token上浪费梯度，同时对关键推理步骤的信用不足。现有的token级信用分配方法需要超出模型自身回滚的资源。我们观察到，基于自身验证轨迹对模型进行条件化会在原始和条件分布之间引入可测量的每token KL散度。我们提出了SC-GRPO（自条件GRPO），利用上述KL散度作为GRPO梯度的乘法权重。在五个基准测试中，SC-GRPO的表现比GRPO提高了8.1%，比DAPO提高了5.9%，并且在OOD性能上更强。SC-GRPO的表现也优于OPD。

🔬 方法详解

问题定义：本论文旨在解决现有强化学习方法在信用分配上的不足，尤其是GRPO在关键推理步骤上的信用分配不均，导致模型性能受限。

核心思路：提出SC-GRPO，通过对模型自身验证轨迹进行条件化，利用KL散度作为GRPO梯度的乘法权重，从而实现更有效的信用分配。

技术框架：SC-GRPO的整体架构包括模型的自我条件化过程，计算每个token的KL散度，并将其作为权重应用于GRPO的梯度更新。主要模块包括验证轨迹生成、KL散度计算和梯度更新。

关键创新：SC-GRPO的核心创新在于引入自我条件化的方式进行信用分配，避免了对外部教师或额外资源的依赖，与现有方法相比具有更高的灵活性和适用性。

关键设计：在设计上，SC-GRPO使用KL散度作为乘法权重，确保在多个验证轨迹存在时，能够有效地进行加权平均，从而提升模型的学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SC-GRPO在五个基准测试中表现优异，相较于GRPO提升了8.1%，相较于DAPO提升了5.9%。此外，SC-GRPO在OOD任务中的表现也显著优于OPD，显示出其在复杂任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和智能体任务等。通过改进的信用分配机制，SC-GRPO能够在更广泛的强化学习场景中提升模型的推理能力和决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has driven substantial progress in training LLMs for reasoning tasks, but representative methods such as GRPO assign uniform credit across all tokens, wasting gradient on routine tokens while under-crediting pivotal reasoning steps. Existing token-level credit assignment methods require resources beyond the model's own rollouts. GRPO variants rely on process reward models or ground-truth answers. Knowledge distillation assigns credit through per-token divergence but requires external teachers (On-Policy Distillation) or privileged information (On-Policy Self Distillation). However, these dependencies limit applicability in the pure RLVR setting. We observe that conditioning the model on its own verified trajectories induces a measurable per-token KL divergence between the original and conditioned distributions, and prove that distilling from a self-teacher constructed by verified trajectories leads to infeasible weighted-average solutions when multiple verified trajectories exist. We propose SC-GRPO (Self-Conditioned GRPO), which uses KL divergence mentioned before as a multiplicative weight on GRPO gradients. Across five benchmarks spanning math, code, and agentic tasks, SC-GRPO consistently outperforms 8.1% over GRPO and 5.9% over DAPO with stronger OOD performance. Moreover, SC-GRPO achieves higher performance than OPD.