AsyncOPD: How Stale Can On-Policy Distillation Be?

📄 arXiv: 2606.24143v1 📥 PDF

作者: Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, Donghoon Kim, Minjae Lee, Minseo Kim, Rishabh Tiwari, Yuchen Zeng, Hyung Il Koo, Kangwook Lee

分类: cs.LG

发布日期: 2026-06-23

备注: Code: https://github.com/furiosa-ai/async-opd

💡 一句话要点

提出AsyncOPD以解决异步策略蒸馏中的数据陈旧问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线策略蒸馏 异步训练 KL散度 蒙特卡洛方法 大规模语言模型 训练效率 机器学习

📋 核心要点

  1. 现有的在线策略蒸馏方法在推理任务中面临回合生成时间过长的问题，导致训练效率低下。
  2. 论文提出AsyncOPD，通过异步训练管道来解耦回合生成与学习更新，系统研究了陈旧数据对OPD的影响。
  3. 实验结果表明，AsyncOPD在训练吞吐量上提升了1.6到3.8倍，同时达到了与严格同步训练相当的准确性。

📝 摘要（中文）

论文探讨了在异步的在线策略蒸馏（OPD）中，如何应对数据陈旧带来的挑战。OPD通过教师反馈训练学生模型，但在推理工作负载中，回合生成可能会占用大量训练时间。为了解决这一瓶颈，论文提出了一种异步训练管道AsyncOPD，系统地研究了陈旧数据对OPD的影响。研究表明，教师加权的前向KL散度对陈旧回合更具鲁棒性，而学生加权的反向KL散度则较为脆弱。此外，论文还提出了多样本蒙特卡洛方法，以降低反向KL OPD估计器的方差。实验结果显示，AsyncOPD在训练吞吐量上提高了1.6到3.8倍，同时保持了相似的准确性。

🔬 方法详解

问题定义：论文要解决的问题是异步在线策略蒸馏（OPD）中由于回合生成导致的陈旧数据问题。现有方法在处理推理工作负载时，回合生成占用大量时间，从而影响训练效率。

核心思路：论文的核心思路是通过引入异步训练管道，解耦回合生成与学习更新，以减少训练时间。同时，系统研究了陈旧数据对OPD的影响，提出了针对性解决方案。

技术框架：整体架构包括教师模型和学生模型的交互，教师通过局部KL损失提供反馈，学生在学习过程中使用有限的教师评分缓存。异步训练管道使得回合生成与学习更新可以并行进行。

关键创新：最重要的技术创新点在于首次系统性地研究了异步OPD中的陈旧数据问题，并提出了多样本蒙特卡洛方法以降低反向KL OPD估计器的方差。这与现有方法的本质区别在于针对性地解决了陈旧数据带来的不稳定性。

关键设计：关键设计包括教师评分缓存的有限性，采用教师加权的前向KL散度与学生加权的反向KL散度的不同鲁棒性，以及在学习时重新计算反向KL信号的策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AsyncOPD在训练吞吐量上提高了1.6到3.8倍，相较于严格的同步训练，达到了相似的准确性。这一显著提升表明了异步训练在在线策略蒸馏中的有效性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的后训练优化，尤其是在需要高效训练和实时反馈的场景中。AsyncOPD的设计可以显著提高训练效率，降低资源消耗，推动智能系统的快速迭代与应用。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own rollouts guided by teacher feedback and is becoming increasingly important for large language model (LLM) post-training. Like reinforcement learning (RL), however, OPD faces an on-policy systems bottleneck, as rollouts can dominate training time for reasoning workloads. Asynchronous training pipelines can alleviate this bottleneck by decoupling rollout generation from learner updates, but doing so introduces stale-policy data. While prior work has studied stale data in asynchronous RL, its effects in OPD remain underexplored. We present the first systematic study of staleness in asynchronous OPD, focusing on a practical setting where teacher feedback is implemented through local KL losses and full-vocabulary teacher logits are too expensive to store or transfer, necessitating finite teacher-score caches. We first show that KL direction changes the stale-data problem: teacher-weighted forward KL is more robust to stale rollouts, whereas student-weighted reverse KL is vulnerable. Second, for this vulnerable reverse-KL case, we study whether methods designed to stabilize asynchronous RL can mitigate OPD staleness. In our experiments, they do not improve over a simpler OPD-specific surrogate: recomputing the reverse-KL signal under the current student at learner time. Third, we analyze how finite teacher-score caches create a bias-variance tradeoff for sparse and sampled reverse-KL OPD estimators. This motivates multi-sample Monte Carlo (MC), which preserves MC correctability while reducing one-sample variance. Finally, we present and open-source AsyncOPD, a fully asynchronous OPD training pipeline built from these estimator choices. Experiments show that AsyncOPD improves training throughput by $1.6\times$ to $3.8\times$ over strict synchronous training while reaching comparable accuracy.