Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

📄 arXiv: 2606.12370v1 📥 PDF

作者: Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou

分类: cs.LG, cs.CL

发布日期: 2026-06-10

💡 一句话要点

提出Bebop以解决强化学习训练中的MTP接受率瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 多标记预测 拒绝采样 模型训练 吞吐量提升 熵波动 TV损失 自动代码生成

📋 核心要点

  1. 现有的强化学习训练方法在回滚阶段存在显著的效率瓶颈，导致训练速度受限。
  2. 本文提出了一种新的方法Bebop，通过引入拒绝采样和优化损失函数来提升MTP的接受率。
  3. 实验结果表明，Bebop在Qwen3.5、Qwen3.6和Qwen3.7模型的异步RL训练中实现了高达1.8倍的加速。

📝 摘要（中文）

强化学习（RL）已成为现代大型语言模型的关键组成部分，但在RL训练管道中，回滚阶段仍是主要瓶颈。尽管多标记预测（MTP）通过推测解码加速回滚，但在RL训练中，MTP接受率显著下降，导致加速效果有限。为了解决这一瓶颈，本文提出Bebop，系统研究了MTP在大型语言模型后训练中的应用，并提供了将MTP集成到大规模RL管道的实用方案。我们揭示了MTP接受率与模型熵波动之间的负线性关系，并提出了一种新的端到端TV损失，直接优化多步拒绝采样的接受率，提升了约10%的接受率，最终在数学推理、代码生成和智能任务中实现了高达95%的接受率和25%的额外推理吞吐量。

🔬 方法详解

问题定义：本文旨在解决强化学习训练中多标记预测（MTP）接受率低的问题，现有方法在RL训练阶段的效率受到熵波动的影响，导致加速效果不理想。

核心思路：通过引入概率拒绝采样，减轻熵波动对MTP接受率的影响，并提出新的端到端TV损失函数，直接优化多步拒绝采样的接受率。

技术框架：整体架构包括MTP训练阶段和RL训练阶段，首先进行预训练的MTP训练，然后在RL训练中应用拒绝采样和TV损失函数，确保在整个训练过程中保持高接受率。

关键创新：提出的TV损失函数与传统的交叉熵或KL散度损失相比，能够更有效地优化MTP的接受率，显著提升了训练效率。

关键设计：在参数设置上，采用了新的损失函数设计，并在训练过程中引入拒绝采样策略，以提高模型在RL阶段的表现。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Bebop方法在Qwen3.5、Qwen3.6和Qwen3.7模型的异步强化学习训练中实现了高达1.8倍的加速，MTP接受率提升至95%，并在多个任务中获得了25%的推理吞吐量增益，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在需要高效回滚和推理的任务中，如自动代码生成和智能代理系统。通过提升MTP的接受率，能够显著加速模型训练过程，降低计算成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning (RL) has become a key component in modern large language models, yet the rollout stage remains the key bottleneck in RL training pipelines. Although Multi-Token Prediction (MTP) offers a natural solution to accelerate rollouts through speculative decoding, many studies have observed that MTP acceptance rates degrade significantly during RL training, leading to limited speedup performance. To address this bottleneck, we present Bebop, a systematic study of MTP in LLM post-training, and offer practical recipes to integrate MTP into large-scale RL pipelines. First, we reveal that the MTP acceptance rate is fundamentally bounded by the fluctuation of model entropy, which demonstrates a clear negative linear relationship with the rise of entropy in the RL stage. Second, we show that probabilistic rejection sampling largely alleviates the disturbance introduced by entropy in RL compared to greedy draft sampling. We further identify that the conventional MTP training objectives (cross-entropy or KL) are suboptimal in such settings, and therefore we propose a novel end-to-end TV loss that directly optimizes multi-step rejection sampling acceptance rate, yielding ~10% acceptance rate improvements, achieving up to 95% acceptance rates and up to 25% extra inference throughput gains across mathematical reasoning, code generation, and agentic tasks. Third, we test various online MTP training strategies during RL and show that pre-RL MTP training with e2e TV loss and rejection sampling achieves a consistent acceptance rate and speedup throughout the entire RL, eliminating the need for costly online MTP updating. We provide extensive experiments and analysis that validate our findings. Experimental results show our method achieves up to 1.8x end-to-end acceleration in async RL training of Qwen3.5, Qwen3.6, and Qwen3.7 models.