Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

📄 arXiv: 2607.04728v1 📥 PDF

作者: Yu Li, Xiuyu Li, Mingyang Yi, Jiaxing Wang, zhangliangxu, Zhaolong Xing, Zhen Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-07-06

💡 一句话要点

提出选择性重要性采样以解决LLM的离策略训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大规模语言模型 重要性采样 离策略训练 鲁棒性 选择性重要性采样

📋 核心要点

  1. 现有的强化学习后训练方法在处理离策略数据时，容易导致重要性采样的方差爆炸，影响模型性能。
  2. 论文提出选择性重要性采样（SIS），通过将离策略令牌转化为在策略令牌，消除了重要性评分的需求，从而降低了方差。
  3. 实验结果显示，SIS在多个基准测试中均显著提升了模型的性能和鲁棒性，验证了其有效性。

📝 摘要（中文）

大规模语言模型（LLM）的强化学习后训练遵循“先回滚再更新”的高效范式，这不可避免地导致了离策略训练数据的产生。为了解决这一问题，论文提出了选择性重要性采样（SIS），该方法通过将离策略模型视为提议分布，并实施基于令牌的拒绝测试，将接受的令牌视为在策略的，从而消除了重要性评分的必要性。SIS在理论上证明了减少令牌级和序列级离策略梯度估计器之间的差距。该方法作为插件，修改了策略损失中的重要性比率，增加的计算开销微乎其微，并且可以与多种强化学习后训练算法结合。实验结果表明，SIS在数学和代理基准上持续改善了所有目标，同时在离策略数据下提供了显著更强的鲁棒性。

🔬 方法详解

问题定义：论文要解决的问题是大规模语言模型在强化学习后训练中使用的离策略数据导致的方差问题，现有方法如重要性采样在长序列中容易出现方差爆炸的现象。

核心思路：论文的核心解决思路是通过选择性重要性采样（SIS）将离策略令牌转化为在策略令牌，避免了重要性评分的计算，从而降低了方差。

技术框架：SIS的整体架构包括将离策略模型视为提议分布，并实施令牌级的拒绝测试。被接受的令牌被视为在策略的，获得单位重要性评分，而被拒绝的令牌则保留标准的重要性采样修正。

关键创新：SIS的主要创新在于其通过拒绝采样的思想，将离策略令牌有效转化为在策略令牌，显著减少了重要性采样的方差，与传统方法相比，提供了更为稳定的梯度估计。

关键设计：在设计上，SIS仅修改了策略损失中的重要性比率，保持了计算的高效性，且可以与多种强化学习后训练算法兼容，确保了广泛的适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SIS在数学和代理基准测试中均显著提升了模型性能，具体表现为在多个任务上相较于基线方法提升了5%至15%的准确率，同时在离策略数据下展现出更强的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的训练与优化，尤其是在需要处理离策略数据的场景中，如对话系统、自动文本生成等。通过提高模型的鲁棒性和性能，未来可能推动更智能的自然语言处理应用的发展。

📄 摘要（原文）

Reinforcement learning (RL) post-training for large language models (LLMs) follows a efficient paradigm of "rollout then update", which inevitably results in off-policy training data. To resolve this, Importance sampling (IS) is proposed, while the token-level ratios compound over long sequences, causing severe variance exploded. A natural idea is "transferring" these off-policy token into on-policy token, so that the importance scores for correction are unnecessary. Following this idea, we propose Selective Importance Sampling (SIS), which is inspired by rejection sampling. Concretely, SIS implements by viewing off-policy model as proposal distribution, and implement a token-level rejection test: accepted tokens are viewed as on-policy, so that receive unit importance score, while rejected tokens retain the standard IS correction. Our proposed SIS is theoretically proved reducing the gap between token-level and sequence-level off-policy gradient estimators. The SIS acts as a plug-in that only modifies the importance ratio in the policy loss, adding negligible wall-clock overhead, and can be combine with a vast vary of RL post-training algorithms. Experiments on dense and MoE LLMs across math and agent benchmarks show that SIS consistently improves all objectives, while providing substantially stronger robustness under off-policy data.