VidEdit3D: Flexible 3D Gaussian Editing with Video Diffusion
作者: Yanming Yang, Chenxi Song, Tong Zhao, Juntao Xu, Wenhao Rao, Yiwen Chen, Yiwei Wang, Chi Zhang
分类: cs.CV
发布日期: 2026-10-26
备注: Project Page: https://2hitee.github.io/VidEdit3D-page/
💡 一句话要点
提出VidEdit3D以解决3D场景编辑灵活性不足的问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D场景编辑 视频扩散模型 多视图一致性 轨迹引导渲染 流对齐视频编辑 区域选择性细化 编辑一致性引导
📋 核心要点
- 现有的3D编辑方法在多视图一致性和结构修改之间存在权衡，导致灵活性不足。
- VidEdit3D框架将3D场景编辑视为轨迹基础的视频编辑任务，利用视频扩散模型的时空先验。
- 实验结果表明，VidEdit3D在指令对齐和多视图一致性方面优于基线方法。
📝 摘要（中文）
近年来，文本引导的3D编辑，特别是3D高斯喷溅（3DGS），取得了一定进展，但仍然不及2D编辑工具灵活。现有方法在保持多视图一致性与允许结构修改之间存在重要的权衡。为了解决这些局限性，本文提出了VidEdit3D框架，将3D场景编辑重新定义为基于轨迹的视频编辑任务。通过将静态3D场景中的相机运动与视频中的时间动态进行类比，利用预训练视频扩散模型（VDMs）的时空先验，促进视图间的语义和结构一致性。我们提出了轨迹引导渲染（TGR）来选择信息丰富的关键帧，并构建与VDM输入要求对齐的平滑视频片段。通过开发流对齐视频编辑（FAVE），我们实现了从锚视图向这些片段传播编辑的能力，最终通过区域选择性3DGS细化（RS-GS）来严格限制几何和外观更新到目标原语。
🔬 方法详解
问题定义：本文旨在解决现有3D编辑方法在多视图一致性与结构修改之间的权衡问题，导致灵活性不足，尤其是在处理不同视角时的编辑效果不佳。
核心思路：通过将3D场景编辑重新定义为轨迹基础的视频编辑任务，利用视频扩散模型的强大时空先验，促进视图间的语义和结构一致性，从而提升编辑的灵活性和效果。
技术框架：整体架构包括轨迹引导渲染（TGR）模块用于选择关键帧，流对齐视频编辑（FAVE）模块用于传播编辑，以及区域选择性3DGS细化（RS-GS）模块用于限制更新到目标原语。
关键创新：最重要的创新在于将3D编辑任务转化为视频编辑任务，利用时空先验来增强多视图一致性和语义连贯性，这与传统的3D编辑方法有本质区别。
关键设计：在FAVE中引入了编辑一致性引导（ECG）机制，通过对比源图像和编辑图像的条件，使用调度的源图像放大来增强对编辑参考的遵循，同时保持原始场景的上下文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VidEdit3D在指令对齐和多视图一致性方面表现优异，相较于基线方法，提升幅度显著，具体性能数据未提供，但整体效果明显优于现有技术。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在影视制作、游戏开发和虚拟现实等领域，可以显著提升3D场景的编辑效率和灵活性。未来，VidEdit3D可能会推动更高效的3D内容创作工具的发展，满足用户对复杂场景编辑的需求。
📄 摘要（原文）
Recent advancements in text-guided 3D editing, particularly with 3D Gaussian Splatting (3DGS), have shown promise but still lag behind the flexibility of 2D editing tools. Existing methods face a critical trade-off between preserving multi-view consistency and allowing structural modifications. Image-based editors can also struggle to apply the intended edit to objects viewed from unusual angles. To address these limitations, we introduce VidEdit3D, a framework that reformulates 3D scene editing as a trajectory-based video editing task. By drawing a parallel between camera movement in static 3D scenes and temporal dynamics in video, we leverage the robust spatiotemporal priors of pre-trained Video Diffusion Models (VDMs) to encourage semantic and structural coherence across views. Specifically, we propose Trajectory-Guided Rendering (TGR) to select informative keyframes and construct smooth video clips aligned with VDM input requirements. To propagate edits from an anchor view to these clips, we develop Flow-Aligned Video Editing (FAVE), a training-free framework incorporating an Editing Consistency Guidance (ECG) mechanism. ECG contrasts source and edited image conditions at a shared latent state, using scheduled source-image amplification to strengthen adherence to the edited reference while maintaining original scene context. Finally, we introduce Region-Selective 3DGS Refinement (RS-GS) to strictly confine geometric and appearance updates to target primitives, reducing background attribute leakage. Experiments demonstrate stronger instruction alignment and better multi-view consistency than the baselines.