Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
作者: Hmrishav Bandyopadhyay, Xuanchi Ren, Zijian Huang, Jay Zhangjie Wu, Tianshi Cao, Ruilong Li, Bryan Chu, Sanja Fidler, Yi-Zhe Song, Zian Wang
分类: cs.CV
发布日期: 2026-08-13
备注: Project Page: https://hmrishavbandy.github.io/cmd-site/
💡 一句话要点
提出上下文匹配蒸馏以解决自回归视频生成中的因果问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自回归视频生成 因果蒸馏 上下文匹配 视频处理 计算机视觉 实时控制 机器学习
📋 核心要点
- 现有视频生成方法在因果约束下，教师评分常依赖未来信息，导致监督不一致。
- 提出上下文匹配蒸馏（CMD），通过因果教师对目标进行评分，确保信息对齐。
- 实验表明CMD在短视频和长视频基准上均表现出色，超越了现有自回归方法。
📝 摘要（中文）
交互式自回归视频生成要求低延迟的生成和精确的在线控制。现有的视频分布匹配蒸馏方法常使用双向教师进行监督，导致教师评分依赖于未来帧和控制信息，从而与学生的因果信息集不一致。本文提出上下文匹配蒸馏（CMD），通过引入因果教师，确保教师监督与目标生成时可用的信息对齐。CMD在教师训练、学生蒸馏和推理中保持一致的因果框架，实验结果表明其在短视频和长视频基准上均实现了自回归方法的最先进性能，并显著提高了对时变相机控制的遵循性。
🔬 方法详解
问题定义：本文解决自回归视频生成中的因果监督问题。现有方法使用双向教师评分，导致学生生成时无法获取的未来信息影响监督效果。
核心思路：CMD通过引入因果教师，确保教师评分仅基于当前可用的信息，从而与学生生成的上下文一致。这种设计使得教师和学生在训练和推理过程中保持一致的因果关系。
技术框架：CMD框架包括因果教师和少步学生两个主要模块。因果教师在评分时不访问未来帧，少步学生则在生成过程中依赖于教师的指导。整个流程确保了信息的时序一致性。
关键创新：CMD的核心创新在于引入因果教师替代传统的双向教师评分，确保监督与生成时的上下文对齐。这一设计使得模型在处理时间序列数据时更加稳定和有效。
关键设计：CMD采用了前缀评分机制，通过评估学生生成的前缀来匹配监督信息。此外，前缀扰动技术用于稳定训练，确保早期生成的不可靠前缀不会影响后续训练过程。整体设计简洁而有效，适用于多种生成任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CMD在短视频和长视频基准上均实现了最先进的整体性能，相较于现有自回归方法，显著提高了对时变相机控制的遵循性，具体性能提升幅度达到XX%。
🎯 应用场景
该研究在视频生成、计算机视觉和机器人控制等领域具有广泛的应用潜力。通过提高生成效率和控制精度，CMD能够在实时视频处理、虚拟现实和自动驾驶等场景中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Interactive autoregressive video generation demands both low-latency rollouts and precise online control. Few-step distillation accelerates generation by reducing denoising steps, while online control imposes a causal constraint: frames and blocks should depend on history and controls available during generation. Existing video distribution matching distillation (DMD) pipelines, however, often supervise causal few-step students using bidirectional teachers that score complete clips. The score for a target can therefore depend on future frames and controls that were unavailable when the student generated it, misaligning teacher supervision with the student's causal information set. We introduce Context-Matched Distillation (CMD), a causal DMD framework that aligns teacher supervision with the information available when each target is generated. CMD replaces bidirectional full-clip scoring with a causal teacher that evaluates each target without access to future frames or controls. The same causal teacher initializes the few-step student, establishing a consistent causal formulation across teacher training, student distillation, and inference. Beyond aligning the temporal information boundary, Prefix Scoring matches supervision to the student's realized rollout context by evaluating each target under the cached student-generated prefix that produced it. Prefix Corruption further stabilizes training by perturbing unreliable prefixes produced early in training while preserving this target-context alignment. With a simple causal formulation, CMD naturally extends to frame-wise and chunk-wise generation, long video distillation, and camera-conditioned distillation. Experiments demonstrate state-of-the-art aggregate performance among autoregressive methods on both short- and long-video benchmarks, together with substantially improved adherence to time-varying camera controls.