Live-OPSD: On-Policy Self-Distillation for Proactive Streaming Large Video Models
作者: Kaixuan Du, Xin Wan, Dai Guan, Ming Chen, Xiaoxi Jiang, Guanjun Jiang
分类: cs.LG
发布日期: 2026-10-27
💡 一句话要点
提出Live-OPSD以解决流媒体助手响应决策问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流媒体助手 自蒸馏 特权提示 多模态学习 响应决策 实时处理 智能交互
📋 核心要点
- 现有的监督微调方法未能直接训练流媒体助手在动态环境中生成的响应前缀，导致响应决策的时效性不足。
- 本文提出Live-OPSD，通过在训练过程中使用特权提示，指导策略对自身输出进行自我评估，从而提高响应的准确性和时机。
- 在实验中，Live-OPSD在多个基准测试中表现优异，尤其在LiveProBench上超越了最强基线，显示出显著的性能提升。
📝 摘要（中文）
流媒体多模态助手在事件持续展开时必须做出响应决策。现有的监督微调方法主要依赖于记录的助手对话，但未能直接训练生成的响应前缀。本文提出了Live-OPSD，一种基于策略自蒸馏的方法，利用训练期间仅可用的特权提示来监督策略对自身输出的评估。该策略首先仅基于流媒体上下文生成响应，然后使用描述相关证据的提示重新评估该响应，最终的分布指导未提示的策略。在Qwen3-Omni-30B-A3B上，Live-OPSD在LiveProBench上获得了59.64的平均分，比最强的持续SFT基线高出5.26分，并在OVO-Bench上保持竞争力（65.84）。这些结果表明，利用特权提示指导策略对自身输出的评估，能够改善流媒体助手的响应时机和方式。
🔬 方法详解
问题定义：本文旨在解决流媒体多模态助手在动态环境中响应决策的不足，现有方法未能有效利用生成的响应前缀进行训练，导致响应时机和质量不佳。
核心思路：Live-OPSD通过引入特权提示，指导策略在训练过程中自我评估其生成的响应，从而实现对自身输出的优化，提升响应的准确性和时效性。
技术框架：整体架构包括两个主要阶段：首先，策略基于流媒体上下文生成响应；其次，使用特权提示对生成的响应进行重新评估，并根据评估结果调整未提示的策略。
关键创新：最重要的创新在于引入了特权提示机制，使得策略能够在训练过程中自我监督，从而有效提升了流媒体助手的响应能力，与传统的监督微调方法形成鲜明对比。
关键设计：在技术细节上，采用了特定的损失函数来平衡自我评估与生成响应的质量，同时优化了网络结构以适应流媒体数据的特点。具体参数设置和网络架构的选择也经过了精心设计，以确保模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Live-OPSD在LiveProBench上获得59.64的平均分，比最强的持续SFT基线高出5.26分，同时在OVO-Bench上也保持了竞争力（65.84），表明该方法在流媒体助手的响应时机和质量上具有显著提升。
🎯 应用场景
该研究的潜在应用领域包括智能助手、在线客服和实时信息处理等场景，能够显著提升流媒体助手在动态环境中的响应能力和用户体验。未来，该方法可能会扩展到更多需要实时决策的多模态系统中，推动智能交互技术的发展。
📄 摘要（原文）
Streaming multimodal assistants must make response decisions while events are still unfolding. They need to recognize when the available evidence warrants a response, produce an appropriate continuation, and remain silent otherwise. Supervised fine-tuning learns from recorded assistant turns, but does not directly train on the response prefixes produced by the evolving policy itself. We introduce Live-OPSD, an on-policy self-distillation method that uses privileged hints available only during training to supervise the policy on its own outputs. The policy first generates a continuation from the streaming context alone. The same model then re-evaluates that continuation with a hint describing the relevant evidence, and the resulting distributions guide the unhinted policy. On Qwen3-Omni-30B-A3B, Live-OPSD attains an average score of 59.64 on LiveProBench, 5.26 points above the strongest continued-SFT baseline, and stays competitive on OVO-Bench (65.84). These results indicate that guiding the policy on its own outputs with privileged hints improves both when and how a streaming assistant responds.