LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing
作者: Xinyu Wang, Chongbo Zhao, Fangneng Zhan, Yue Ma
分类: cs.CV
发布日期: 2026-06-25
备注: Accepted by ECCV 2026, Project page: https://live-edit.github.io
💡 一句话要点
提出实时扩散基础的视频编辑框架以解决流媒体编辑问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流媒体编辑 实时处理 视频生成 蒸馏学习 增强现实 视觉保真度 交互应用
📋 核心要点
- 现有流媒体视频编辑方法在保持背景稳定性和低延迟方面存在显著挑战，限制了其实际应用。
- 本文提出了一种三阶段蒸馏管道，将编辑能力从双向基础模型转移到高效的单向流媒体编辑器，以实现实时编辑。
- 实验结果表明，该方法在视觉质量上达到最先进水平，推理速度提升至12.66 FPS，适合交互和增强现实场景。
📝 摘要（中文）
流媒体视频编辑取得了快速进展，但实际应用仍受限于两个核心问题：保持背景和未编辑区域的稳定性，以及实现实时交互所需的低延迟。现有的流媒体视频生成方法主要用于合成，无法直接应用于编辑。本文提出了一种新颖的流媒体视频编辑框架，能够进行因果的逐帧编辑，确保内容的强保留和实时响应。关键设计是一个三阶段的蒸馏管道，逐步将编辑能力从强大的双向基础模型转移到高效的单向流媒体编辑器，从而实现稳定的长时间编辑而不牺牲视觉保真度。此外，我们引入了面向增强现实的掩膜缓存，重用跨帧的区域相关计算，显著减少冗余处理，加速推理。最后，我们建立了专门的流媒体视频编辑基准，广泛评估表明该方法在流媒体基线中实现了最先进的视觉质量，同时推理速度提升至12.66 FPS，适用于交互和增强现实应用。
🔬 方法详解
问题定义：本文旨在解决流媒体视频编辑中背景和未编辑区域稳定性不足及实时性低的问题。现有方法多用于视频合成，无法满足严格的保留要求和区域特定控制。
核心思路：提出的框架通过三阶段蒸馏管道，将强大的双向基础模型的编辑能力转移到高效的单向流媒体编辑器，以实现内容保留和实时响应。
技术框架：整体架构包括三个主要阶段：首先是从双向模型中提取编辑能力，其次是将其转移到单向编辑器，最后通过AR导向的掩膜缓存优化推理过程。
关键创新：最重要的创新在于引入了三阶段蒸馏管道和AR导向的掩膜缓存，这使得长时间编辑的稳定性和视觉保真度得以保证，与现有方法相比具有显著优势。
关键设计：在设计中，采用了特定的损失函数以确保内容保留，同时优化了网络结构以提高推理速度，确保在实时应用中表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在流媒体基线中实现了最先进的视觉质量，推理速度提升至12.66 FPS，相较于现有方法显著提高了实时性，适合交互式应用。
🎯 应用场景
该研究的潜在应用领域包括实时视频编辑、增强现实和虚拟现实等场景，能够为内容创作者提供高效的工具，提升用户体验。未来，该技术可能在直播、游戏和社交媒体等多个领域产生深远影响。
📄 摘要（原文）
Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.