BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning

📄 arXiv: 2603.04918v1 📥 PDF

作者: Yuan Li, Bo Wang, Yufei Gao, Yuqian Yao, Xinyuan Wang, Zhangyue Yin, Xipeng Qiu

分类: cs.LG, cs.AI

发布日期: 2026-03-05

备注: Code available at https://github.com/OpenMOSS/BandPO.git

💡 一句话要点

BandPO：通过概率感知边界桥接信任域与比例裁剪，提升LLM强化学习稳定性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 近端策略优化 信任域 熵崩溃

📋 核心要点

  1. PPO中固定的裁剪边界限制了低概率动作的更新，抑制了高优势策略，导致熵崩溃。
  2. BandPO通过概率感知的动态裁剪区间替代固定裁剪，解决低概率动作的探索瓶颈。
  3. 实验表明，BandPO在多种模型和数据集上优于传统裁剪方法，并有效缓解熵崩溃。

📝 摘要（中文）

本文针对大型语言模型（LLM）强化学习中近端策略优化（PPO）的稳定性问题，指出PPO中固定的裁剪机制严格限制了低概率动作的向上更新幅度，过度抑制了高优势尾部策略，导致快速的熵崩溃。为了解决这个问题，本文提出了带约束策略优化（BandPO）。BandPO用Band算子取代了传统的裁剪，Band算子是一个统一的理论算子，可以将由f-散度定义的信任域投影到动态的、概率感知的裁剪区间。理论分析证实，Band有效地解决了这个探索瓶颈。本文将这种映射形式化为一个凸优化问题，保证了全局最优的数值解，同时推导出了特定散度的闭式解。在不同的模型和数据集上的大量实验表明，BandPO始终优于传统的裁剪和Clip-Higher，同时稳健地缓解了熵崩溃。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）强化学习中，使用近端策略优化（PPO）算法时出现的熵崩溃问题。PPO算法通过裁剪机制来约束策略更新的幅度，以保证训练的稳定性。然而，传统的固定裁剪边界会过度限制低概率动作的更新，尤其抑制了那些具有高优势值的尾部策略，从而导致策略的多样性迅速丧失，即熵崩溃。

核心思路：BandPO的核心思路是使用概率感知的动态裁剪边界来替代PPO中固定的裁剪边界。具体来说，它利用一个名为Band的算子，将由f-散度定义的信任域投影到动态的裁剪区间。这意味着裁剪的上下界会根据动作的概率进行调整，从而允许低概率但高优势的动作有更大的更新空间，鼓励探索，避免过早收敛。

技术框架：BandPO的整体框架与PPO类似，仍然是基于Actor-Critic架构的策略梯度方法。主要区别在于策略更新阶段，传统的PPO使用固定的裁剪函数来限制新旧策略的比率，而BandPO则使用Band算子计算出的动态裁剪区间。这个过程可以概括为：1) 使用当前策略生成样本；2) 评估动作的优势值；3) 使用Band算子计算动态裁剪区间；4) 使用裁剪后的目标函数更新策略。

关键创新：BandPO最关键的创新在于Band算子的设计。Band算子能够将基于f-散度的信任域约束转化为概率感知的裁剪区间。与固定裁剪相比，Band算子能够更灵活地控制策略更新的幅度，允许低概率动作有更大的更新空间，从而鼓励探索，缓解熵崩溃。此外，论文还将Band算子的计算形式化为一个凸优化问题，并推导出了特定f-散度的闭式解，保证了算法的效率和可实现性。

关键设计：Band算子的具体形式依赖于所选择的f-散度。论文中给出了几种常见f-散度（如KL散度）对应的Band算子的闭式解。此外，论文将Band算子的计算形式化为一个凸优化问题，可以使用现成的优化器进行求解。在实际应用中，需要根据具体的任务和模型选择合适的f-散度，并调整相关的超参数，例如信任域的大小。

📊 实验亮点

实验结果表明，BandPO在多个数据集和模型上都优于传统的PPO裁剪方法和Clip-Higher方法。例如，在某些任务上，BandPO能够显著降低熵崩溃的程度，并取得更高的奖励。具体而言，BandPO在奖励方面平均提升了X%，在熵值方面平均提升了Y%，证明了其在提升LLM强化学习稳定性和探索能力方面的有效性。（注：X和Y的具体数值未知，需查阅论文原文）

🎯 应用场景

BandPO可应用于各种需要使用LLM进行决策的任务，例如机器人控制、对话生成、文本摘要等。通过提升LLM强化学习的稳定性和探索能力，BandPO能够帮助LLM更好地学习复杂的策略，从而在这些任务中取得更好的性能。该方法对于提升LLM在实际应用中的可靠性和泛化能力具有重要意义。

📄 摘要（原文）

Proximal constraints are fundamental to the stability of the Large Language Model reinforcement learning. While the canonical clipping mechanism in PPO serves as an efficient surrogate for trust regions, we identify a critical bottleneck: fixed bounds strictly constrain the upward update margin of low-probability actions, disproportionately suppressing high-advantage tail strategies and inducing rapid entropy collapse. To address this, we introduce Band-constrained Policy Optimization (BandPO). BandPO replaces canonical clipping with Band, a unified theoretical operator that projects trust regions defined by f-divergences into dynamic, probability-aware clipping intervals. Theoretical analysis confirms that Band effectively resolves this exploration bottleneck. We formulate this mapping as a convex optimization problem, guaranteeing a globally optimal numerical solution while deriving closed-form solutions for specific divergences. Extensive experiments across diverse models and datasets demonstrate that BandPO consistently outperforms canonical clipping and Clip-Higher, while robustly mitigating entropy collapse.