OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation
作者: Zihao Fan, Xin Lu, Jie Huang, Hexin Zhang, Xueyang Fu, Zheng-Jun Zha
分类: cs.CV, cs.AI, cs.SD
发布日期: 2026-11-02
备注: 17 pages, 7 figures
💡 一句话要点
提出OmniOPD以解决音视频生成中的跨模态干扰问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音视频生成 强化学习 在线蒸馏 多模态学习 跨模态干扰 监督信号 生成模型
📋 核心要点
- 现有方法在优化音频和视频奖励时，常因模态间干扰导致生成不稳定，音频监督稀疏。
- 提出OmniOPD框架，通过构建特权视觉信息和引入多噪声采样，增强音频监督，稳定训练过程。
- 在JavisBench和VBench上评估结果显示，OmniOPD显著提升视频生成质量，同时保持音频质量。
📝 摘要（中文）
强化学习（RL）提升了音视频生成的效果，但优化异构的音频和视频奖励时常引入跨模态干扰。现有的在线蒸馏（OPD）方法通过将音频和视频的RL教师能力转移到单一学生模型中来缓解这一问题。然而，跨模态标记数量的不平衡导致音频监督稀疏，造成蒸馏不稳定。为了解决这一问题，本文提出了OmniOPD，一个旨在平衡和稳定音视频生成的模态级在线蒸馏框架。通过构建特权视觉信息、引入分组多噪声采样和时间步重要性加权，OmniOPD在JavisBench和VBench上的评估显示，音频质量得以保持，同时视频生成显著增强，实现了有效的联合蒸馏。
🔬 方法详解
问题定义：本文旨在解决音视频生成中的跨模态干扰问题，现有的在线蒸馏方法因音频监督稀疏而导致生成不稳定。
核心思路：提出OmniOPD框架，通过构建特权视觉信息和引入多噪声采样，增强音频的监督信号，从而提高生成的稳定性和质量。
技术框架：OmniOPD的整体架构包括三个主要模块：特权视觉信息构建、分组多噪声采样和时间步重要性加权。这些模块协同工作，以实现更平衡的音视频生成。
关键创新：最重要的创新在于通过非对称噪声调度构建特权视觉信息，使音频教师能够从更清晰的视频上下文中生成更具信息量的目标，同时引入时间步重要性加权以稳定音频学习。
关键设计：在设计中，采用了分组多噪声采样来扩展音频监督覆盖范围，并通过教师-学生转移差异进行重要性加权，以保留可靠的监督信号，降低不可靠学习信号的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OmniOPD在JavisBench和VBench上显著提升了视频生成质量，音频质量保持不变，展示了有效的联合蒸馏能力。具体性能数据未提供，待进一步验证。
🎯 应用场景
该研究在音视频生成领域具有广泛的应用潜力，能够提升多模态内容生成的质量，适用于影视制作、游戏开发以及虚拟现实等多个领域。未来，OmniOPD可能推动更高效的多模态学习和生成技术的发展。
📄 摘要（原文）
Reinforcement learning (RL) elevates joint audio-video generation, but optimizing heterogeneous, modality-specific audio and video rewards often introduces cross-modal interference. On-policy distillation (OPD) alleviates this issue by transferring the capabilities of specialized audio and video RL teachers into a single student model. However, a significant imbalance in cross-modal token counts leaves audio with sparse supervision, causing unstable distillation. We observe that naively increasing the audio loss weight fails to solve this problem since audio learning relies heavily on visual context, indicating richer visual cues are crucial to offset sparse audio signals. To address this, we propose OmniOPD, a modality-wise on-policy distillation framework designed for balanced and stable audio-video generation. First, we construct privileged visual information using asymmetric noise scheduling, allowing the audio teacher to generate more informative targets from cleaner video context. Second, we introduce grouped multi-noise sampling to expand audio supervision coverage and stabilize training. Third, we introduce timestep-wise importance weighting based on teacher-student transition divergence, preserving reliable supervision while down-weighting unreliable learning signals, to stabilize fluctuations in audio learning. Evaluated on JavisBench and VBench demonstrate OmniOPD preserves audio quality while significantly enhancing video generation, achieving effective joint distillation.