On the Hidden Objective Biases of Group-based Reinforcement Learning

📄 arXiv: 2601.05002v1 📥 PDF

作者: Aleksandar Fontana, Marco Simoni, Giulio Rossolini, Andrea Saracino, Paolo Mori

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-01-08

💡 一句话要点

揭示基于群组强化学习的隐藏目标偏差，为未来设计提供指导

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 群组强化学习 目标偏差 大型语言模型 策略优化 AdamW优化器

📋 核心要点

  1. 现有基于群组的强化学习方法在奖励优化和实际训练目标间存在结构性不匹配，导致训练偏差。
  2. 论文通过统一的替代公式分析GRPO类方法，揭示了非均匀权重、优化器交互和动量等因素带来的偏差。
  3. 研究结果表明现有方法存在局限性，并为未来设计更有效的群组强化学习方法提供了理论基础。

📝 摘要（中文）

基于群组的强化学习方法，如群组相对策略优化（GRPO），目前被广泛用于大型语言模型的后训练。尽管它们在经验上取得了成功，但奖励优化和底层训练目标之间存在结构性不匹配。本文通过在一个统一的替代公式中研究GRPO风格的方法，对它们进行了理论分析。这种视角揭示了影响所有被分析方法的重复出现的属性：（i）非均匀群组权重导致共享前缀token上的系统性梯度偏差；（ii）与AdamW优化器的交互使得训练动态在很大程度上对奖励缩放不敏感；（iii）在重复的优化步骤下，优化器动量可以将策略更新推到超出预期的裁剪区域。我们认为这些发现突出了当前方法的根本局限性，并为未来公式的设计提供了原则性指导。

🔬 方法详解

问题定义：论文旨在解决基于群组的强化学习方法（如GRPO）在应用于大型语言模型后训练时，奖励优化目标与实际训练目标之间存在的偏差问题。现有方法虽然在实践中表现良好，但缺乏对底层机制的深入理解，导致训练过程可能存在不稳定性或非预期行为。这些偏差可能源于群组权重分配不均、优化器选择不当或训练过程中的其他因素。

核心思路：论文的核心思路是通过建立一个统一的替代公式来分析GRPO类方法，从而揭示这些方法中隐藏的偏差。通过这个统一的框架，可以更容易地识别和量化不同因素对训练过程的影响。这种分析方法允许研究者从一个更理论化的角度理解这些方法的行为，并为改进它们提供指导。

技术框架：论文的技术框架主要包括以下几个部分：首先，对GRPO类方法进行形式化定义，并将其纳入一个统一的替代公式中。然后，利用该公式分析不同因素（如非均匀群组权重、AdamW优化器和动量）对训练过程的影响。具体来说，论文分析了非均匀群组权重如何导致梯度偏差，AdamW优化器如何影响奖励缩放的敏感性，以及优化器动量如何导致策略更新超出预期范围。

关键创新：论文的关键创新在于：(1) 提出了一个统一的替代公式，用于分析GRPO类方法；(2) 揭示了非均匀群组权重、AdamW优化器和动量等因素对训练过程的系统性影响；(3) 强调了现有方法的局限性，并为未来设计更有效的群组强化学习方法提供了理论指导。与现有方法相比，该研究更注重理论分析，而非仅仅依赖经验结果。

关键设计：论文的关键设计包括：(1) 对非均匀群组权重的梯度偏差进行数学推导，量化其对共享前缀token的影响；(2) 分析AdamW优化器如何通过自适应学习率来抵消奖励缩放的影响；(3) 研究优化器动量如何积累误差，导致策略更新超出预期的裁剪范围。这些分析都基于严格的数学推导和实验验证。

📊 实验亮点

论文通过理论分析揭示了GRPO类方法中存在的三个主要偏差：非均匀群组权重导致的梯度偏差、AdamW优化器对奖励缩放的不敏感性以及优化器动量导致的策略更新超出范围。这些发现为改进现有方法提供了明确的方向，并为未来研究奠定了基础。

🎯 应用场景

该研究成果可应用于大型语言模型的对齐训练、奖励模型的优化以及其他基于群组强化学习的任务。通过理解和减轻隐藏的目标偏差，可以提高训练的稳定性和效率，从而提升模型的性能和可靠性。未来的研究可以基于这些发现，设计更有效的群组强化学习算法，并将其应用于更广泛的领域。

📄 摘要（原文）

Group-based reinforcement learning methods, like Group Relative Policy Optimization (GRPO), are widely used nowadays to post-train large language models. Despite their empirical success, they exhibit structural mismatches between reward optimization and the underlying training objective. In this paper, we present a theoretical analysis of GRPO style methods by studying them within a unified surrogate formulation. This perspective reveals recurring properties that affect all the methods under analysis: (i) non-uniform group weighting induces systematic gradient biases on shared prefix tokens; (ii) interactions with the AdamW optimizer make training dynamics largely insensitive to reward scaling; and (iii) optimizer momentum can push policy updates beyond the intended clipping region under repeated optimization steps. We believe that these findings highlight fundamental limitations of current approaches and provide principled guidance for the design of future formulations.