When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

📄 arXiv: 2606.30445v1 📥 PDF

作者: Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

分类: cs.LG

发布日期: 2026-06-29

💡 一句话要点

提出在线模仿学习以提升LLM后训练效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线模仿学习 大语言模型 后训练 可实现性 错误指定 信息理论 策略学习

📋 核心要点

  1. 现有方法在理解在线模仿学习的优势时面临挑战，尤其是错误累积的影响未被充分探讨。
  2. 论文提出了在线模仿学习的可实现性理论，强调在不同设置下的表现差异，尤其是不可实现情况下的优势。
  3. 实验结果表明，在可实现条件下，离线IL已能达到专家性能，而在不可实现条件下，在线IL显著提升了学习效果。

📝 摘要（中文）

在线模仿学习（IL），尤其是基于策略的蒸馏，已成为一种强有力的LLM后训练方法，通常优于离线监督微调（SFT）。然而，在线交互何时以及为何有助于提升效果仍不明确。本文挑战了错误累积是在线IL优势主要来源的观点，表明在线交互的好处与设置的可实现性密切相关。在可实现性条件下，离线IL已能匹配专家表现；而在不可实现（错误指定）设置下，即使在时间步长H=1时，离线IL也会遇到信息理论瓶颈。我们提出了相对于奖励的错误指定的结构特征，在此条件下，尽管专家与学生策略之间存在较大分布差异，在线IL仍能实现高性能。

🔬 方法详解

问题定义：本文旨在解决在线模仿学习在LLM后训练中的优势何在，尤其是错误累积是否是主要因素。现有方法未能清晰阐明在线交互的有效性及其依赖的条件。

核心思路：论文提出了可实现性理论，认为在线交互的好处取决于学生策略类是否能够表示专家策略。在可实现性条件下，离线IL已能达到专家性能，而在不可实现条件下，在线IL能够克服信息理论瓶颈。

技术框架：研究框架包括对可实现性和不可实现性设置的理论分析与实验验证。主要模块包括策略学习、错误指定分析和在线交互机制。

关键创新：最重要的创新在于提出了可实现性与不可实现性对在线模仿学习效果的影响分析，明确了在线IL在不可实现设置下的优势。与现有方法相比，强调了策略类的表示能力对学习效果的决定性影响。

关键设计：在实验中，设置了不同的奖励结构和策略类，采用了信息理论分析方法来评估离线与在线IL的表现差异，确保了实验的严谨性和结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在可实现条件下，离线IL已能达到专家性能，而在不可实现条件下，在线IL的性能提升显著，克服了信息理论瓶颈，表现出更高的学习效率和适应能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和智能系统等，尤其是在需要快速适应和学习新任务的场景中。通过优化在线模仿学习，可以提升模型的学习效率和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online imitation learning (IL), particularly on-policy distillation, has emerged as a strong LLM post-training approach, often outperforming offline supervised fine-tuning (SFT). Yet a principled understanding of when and why online interaction helps remains unclear. In this work, we challenge the view that error accumulation is the main source of online IL's advantage, and instead show that the benefits of online interaction depend critically on whether the setting is realizable, i.e., whether the student policy class can represent the expert policy. Under realizability, we empirically find that offline IL already matches expert performance. In contrast, in non-realizable (misspecified) settings, we prove that offline IL encounters an information-theoretic bottleneck even when horizon $H=1$, and propose a structural characterization of misspecification relative to the reward, under which online IL provably achieves high performance despite a large distributional mismatch between the expert and student policies.