SCARL: Sequence Confidence-Aligned Reinforcement Learning

📄 arXiv: 2610.40407v1 📥 PDF

作者: Zhenghong Ke, Jingbo Zhou, Hua Wu

分类: cs.LG, cs.AI

发布日期: 2026-10-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出SCARL以解决序列信心对齐的强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 信心对齐 自然语言处理 模型推理 策略更新

📋 核心要点

  1. 现有的RLVR方法中，策略的信心与奖励之间缺乏有效的对齐，导致信心不足的成功响应与高信心的错误响应获得相同的更新。
  2. SCARL通过调整优势的对齐差距，使得相同优势的响应趋向于相等的信心，从而修复信心与奖励之间的错位。
  3. 在Qwen3-4B-Base上，SCARL相比于DAPO提升了平均Pass@32 2.4分，并在九种计算匹配的方法中表现最佳，改善了14个设置。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）通过基于规则的验证器对采样响应进行评分，从而提升语言模型的推理能力。然而，现有方法中，RLVR策略的信心与奖励之间缺乏关联，导致成功的响应与不确定的响应获得相同的更新。为了解决这一问题，本文提出了SCARL（序列信心对齐强化学习），通过调整每个优势的对齐差距，使得具有相同优势的响应趋向于相等的信心。SCARL在多个实验中表现出色，显著提升了性能，并在保持策略熵的同时扩大了信心与正确性之间的差距。

🔬 方法详解

问题定义：本文旨在解决现有RLVR方法中，策略信心与奖励之间缺乏对齐的问题。这种错位导致成功的响应与不确定的响应获得相同的更新，影响了模型的学习效率。

核心思路：SCARL的核心思路是通过调整优势的对齐差距，使得具有相同优势的响应趋向于相等的信心。这种设计旨在修复信心与奖励之间的错位，同时促进探索。

技术框架：SCARL的整体架构包括优势计算、信心对齐和更新机制三个主要模块。首先计算每个响应的优势，然后根据信心对齐调整优势，最后更新策略以反映这些调整。

关键创新：SCARL的主要创新在于通过对齐信心与优势之间的差距，修复了信心与奖励的错位。这一方法与传统的RLVR方法本质上不同，后者未能有效利用信心信息。

关键设计：SCARL引入了一个超参数来控制对齐的强度，并且在计算优势时考虑了响应的群体相对信心。此外，SCARL在设计上避免了额外的计算过程，保持了模型的高效性。

📊 实验亮点

SCARL在Qwen3-4B-Base上提升了平均Pass@32 2.4分，相比于DAPO表现出显著优势。在九种计算匹配的方法中，SCARL在覆盖率和每次抽样的准确性方面均表现最佳，改善了14个设置，同时保持了策略熵。

🎯 应用场景

SCARL的研究成果在自然语言处理、对话系统和智能问答等领域具有广泛的应用潜力。通过提升模型的推理能力和信心对齐，SCARL能够帮助构建更为智能和可靠的交互系统，进而推动人工智能在实际应用中的发展。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves language-model reasoning by scoring sampled responses with a rule-based verifier and reinforcing those that pass. Where a classifier's training couples predicted probability to labels, nothing ties an RLVR policy's confidence in a response to its reward: aligned training would drive responses with the same advantage toward equal confidence, yet the advantage is blind to confidence. Under this sequence-confidence misalignment, a success the policy barely found earns the same update as one it produces with near certainty, and a confident error is corrected no harder than an exploratory one. We propose SCARL (Sequence Confidence-Aligned Reinforcement Learning), which reshapes, but never re-signs, each advantage with the alignment gap between the response's group-relative confidence and the outcome its advantage certifies, normalized into shares of each class's advantage budget. Misaligned samples absorb the force, responses with the same advantage are driven toward equal confidence, and repairing the misalignment doubles as a remedy for the entropy collapse that erodes exploration. SCARL provably reduces to its base estimator when a class's confidences agree, adds no extra passes and one hyperparameter. On Qwen3-4B-Base it lifts average Pass@32 by 2.4 points over DAPO and is best among nine compute-matched methods on both coverage and per-draw accuracy; applied unchanged across four estimators and four backbones, it improves 14 of 16 settings while preserving policy entropy and widening the confidence-correctness separation. Our code is available at https://github.com/kezhh163/scarl.