Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models

📄 arXiv: 2608.01717v1 📥 PDF

作者: Wonseok Lee, Jimyeong Kim, Jungmin Ko, Wonjong Rhee

分类: cs.LG

发布日期: 2026-08-03

💡 一句话要点

提出ERILS以解决扩展策略回放在强化学习中的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 强化学习 外部策略回放 数独 奖励处理 训练稳定性 多样本性能

📋 核心要点

  1. 现有的强化学习方法在成功的在策略回放稀缺时，训练进展缓慢且奖励有限。
  2. 本文提出ERILS，通过结合外部策略生成的高奖励回放，解决在策略回放不足的问题。
  3. 实验结果显示，ERILS在数独任务上达到了98.4%的最佳完成准确率，显著高于最强基线的40.3%。

📝 摘要（中文）

近年来，针对扩散大语言模型（dLLMs）的强化学习方法通常依赖于目标dLLM自身生成的在策略回放。然而，当成功的在策略回放稀缺时，训练可能会获得很少的正奖励，进展有限。为了解决这个问题，本文探索了将由更强的外部策略生成的高奖励回放与目标dLLM的在策略回放结合的方法。为此，提出了外部回放集成与长度控制及源特定处理（ERILS），该方法控制外部回放的长度，并分别处理在策略和外部回放的奖励。实验结果表明，ERILS在多个任务上提升了多样本性能，尤其在数独任务上取得了显著进展。

🔬 方法详解

问题定义：本文旨在解决在策略回放稀缺时，强化学习训练进展缓慢的问题。现有方法主要依赖目标dLLM自身生成的回放，导致奖励不足。

核心思路：论文提出ERILS，通过引入外部策略生成的高奖励回放，结合在策略回放，旨在提高训练效率和效果。设计上，ERILS控制外部回放的长度，并分别处理不同来源的奖励，以减少不稳定性。

技术框架：ERILS的整体架构包括两个主要模块：外部回放长度控制模块和源特定奖励处理模块。前者确保外部回放与在策略回放长度一致，后者则分别计算两者的奖励，避免联合处理带来的训练崩溃。

关键创新：ERILS的主要创新在于引入了外部回放的长度控制和源特定奖励处理，这与现有方法的简单联合处理方式形成鲜明对比，显著提高了训练的稳定性和效果。

关键设计：在参数设置上，ERILS对外部回放的长度进行了严格控制，确保其与在策略回放一致。此外，采用了不同的损失函数来分别处理两种回放的奖励，避免了训练过程中的不稳定性。整体网络结构设计上，确保了模块间的有效协作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ERILS在数独任务上实现了98.4%的最佳完成准确率，相较于最强基线的40.3%有显著提升。此外，ERILS在128、256和512个标记的生成长度下，保持了约90%的确定性单次完成准确率，展示了其在多样本性能上的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高强化学习在扩散大语言模型中的效率，ERILS可以帮助开发更智能的语言生成系统，提升用户体验和交互质量。未来，ERILS的设计理念也可能推广到其他类型的强化学习任务中。

📄 摘要（原文）

Recent reinforcement learning methods for diffusion large language models (dLLMs) commonly rely on on-policy rollouts generated by the target dLLM itself. When successful on-policy rollouts are scarce, however, on-policy training may receive little positive reward and make only limited progress. To mitigate this problem, we explore incorporating higher-reward rollouts generated by a stronger external policy alongside on-policy rollouts from the target dLLM. However, directly incorporating these external rollouts introduces two practical challenges: differences in rollout length and instability when jointly processing rewards from on-policy and external rollouts. To address these challenges, we propose External Rollout Integration with Length Control and Source-Specific Processing (ERILS), which controls external-rollout length and processes the rewards of on-policy and external rollouts separately. Experiments on Sudoku, Countdown, and MATH500 under zero-shot evaluation show that ERILS improves multi-sample performance across all three tasks, with the largest gains on Sudoku. On Sudoku, ERILS achieves 98.4% best-of-4 completion accuracy, compared with 40.3% for the strongest baseline. ERILS also maintains approximately 90% deterministic single-completion accuracy on Sudoku across generation lengths of 128, 256, and 512 tokens. Our component analysis further shows that length-controlled external rollouts are more effective than uncontrolled external rollouts, and that source-specific reward processing avoids the training collapse observed with joint reward processing. These results show that rollout construction and reward processing are important design dimensions when integrating external rollouts into dLLM reinforcement learning.