Adaptive-Boundary-Clipping GRPO: Ensuring Bounded Ratios for Stable and Generalizable Training

📄 arXiv: 2601.03895v1 📥 PDF

作者: Chi Liu, Xin Chen

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-01-07

备注: 10 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出自适应边界裁剪GRPO，提升LLM在数学推理任务中的稳定性和泛化性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 策略优化 自适应裁剪 数学推理

📋 核心要点

  1. 现有GRPO算法的裁剪机制在某些场景下存在不足，限制了其灵活性和泛化能力。
  2. ABC-GRPO通过非对称和自适应地调整裁剪边界，优化了原始GRPO框架。
  3. 实验表明，ABC-GRPO在数学推理任务中优于标准GRPO，并能维持更高的熵值，避免过早收敛。

📝 摘要（中文）

群相对策略优化(GRPO)已成为使用大型语言模型(LLM)进行强化学习的一种流行算法。然而，通过分析其裁剪机制，我们认为它在某些情况下并非最优。通过适当的修改，GRPO可以得到显著增强，从而提高灵活性和泛化性。为此，我们提出自适应边界裁剪GRPO(ABC-GRPO)，这是对原始GRPO框架的非对称和自适应改进。我们证明，在使用Qwen3 LLM的数学推理任务中，ABC-GRPO实现了优于标准GRPO的性能。此外，ABC-GRPO在整个训练过程中保持了显著更高的熵，从而保留了模型的探索能力并减轻了过早收敛。

🔬 方法详解

问题定义：论文旨在解决GRPO算法在强化学习训练LLM时，由于其裁剪机制的局限性，导致模型训练不稳定、泛化能力不足的问题。现有GRPO的裁剪方式可能过于保守或激进，无法适应不同状态和动作的价值分布，从而影响策略的优化。

核心思路：论文的核心思路是引入自适应边界裁剪机制，根据当前状态和动作的价值分布动态调整裁剪边界。通过非对称地调整上下边界，使得算法能够更灵活地探索策略空间，避免过早收敛到局部最优解。

技术框架：ABC-GRPO沿用了GRPO的整体框架，主要改进在于裁剪模块。具体流程为：首先，使用LLM生成动作序列；然后，计算每个动作的价值估计；接着，使用自适应边界裁剪机制对价值估计进行裁剪；最后，利用裁剪后的价值估计更新策略。关键在于自适应边界的计算方式。

关键创新：最重要的技术创新点在于自适应边界裁剪机制。与传统GRPO的固定裁剪边界不同，ABC-GRPO的裁剪边界是动态变化的，取决于当前状态和动作的价值分布。这种自适应性使得算法能够更好地适应不同的任务和环境。

关键设计：ABC-GRPO的关键设计包括：1) 非对称裁剪边界：允许上下边界独立调整，以适应价值分布的偏斜；2) 自适应调整策略：裁剪边界的调整基于价值估计的统计信息，例如均值和方差；3) 熵正则化：通过维持较高的熵值，鼓励模型进行探索，避免过早收敛。具体的参数设置和损失函数细节在论文中有详细描述。

📊 实验亮点

实验结果表明，ABC-GRPO在使用Qwen3 LLM进行数学推理任务时，性能优于标准GRPO。更重要的是，ABC-GRPO在训练过程中保持了显著更高的熵值，表明其具有更强的探索能力，能够有效避免过早收敛。具体性能提升数据和对比基线可在论文中找到。

🎯 应用场景

ABC-GRPO可应用于各种需要使用LLM进行强化学习的任务中，例如机器人控制、对话生成、游戏AI等。通过提高训练的稳定性和泛化性，ABC-GRPO可以帮助LLM更好地学习复杂的策略，从而在实际应用中取得更好的效果。尤其在数学推理等对策略探索要求较高的任务中，具有显著优势。

📄 摘要（原文）

Group Relative Policy Optimization (GRPO) has emerged as a popular algorithm for reinforcement learning with large language models (LLMs). However, upon analyzing its clipping mechanism, we argue that it is suboptimal in certain scenarios. With appropriate modifications, GRPO can be significantly enhanced to improve both flexibility and generalization. To this end, we propose Adaptive-Boundary-Clipping GRPO (ABC-GRPO), an asymmetric and adaptive refinement of the original GRPO framework. We demonstrate that ABC-GRPO achieves superior performance over standard GRPO on mathematical reasoning tasks using the Qwen3 LLMs. Moreover, ABC-GRPO maintains substantially higher entropy throughout training, thereby preserving the model's exploration capacity and mitigating premature convergence. The implementation code is available online to ease reproducibility https://github.com/chi2liu/ABC-GRPO.