MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting

📄 arXiv: 2607.01578 📥 PDF

作者: Jianwei Hu, Tingxuan Huang, Hengyu Zhou, Ningna Wang, Xiaohu Guo Jinshan Lai, Bin Wang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出MVFusion-GS以解决动态场景重建中的运动感知不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 运动感知 高斯点云 时序注意力 虚拟现实 增强现实

📋 核心要点

  1. 现有的动态场景重建方法在运动感知方面存在不足，无法有效捕捉长时间运动强度和短时间的时间一致性。
  2. MVFusion-GS通过运动方差引导的精炼和运动变换器时序注意力模块，增强了变形网络的运动感知能力，改善了动态与静态分离。
  3. 在动态场景重建和无干扰重建基准上，MVFusion-GS展示了最先进的性能，验证了运动感知对前景运动建模和背景重建的提升。

📝 摘要（中文）

3D高斯点云（3DGS）实现了静态场景的实时新视角合成，但在动态场景的扩展中，现有的变形网络缺乏明确的运动感知，导致前景变形不准确和背景伪静态残留。本文提出MVFusion-GS，通过运动方差引导的精炼和运动变换器时序注意力模块，增强了变形网络的运动感知能力。实验表明，该方法在动态场景重建和无干扰重建基准上表现出色，显著提升了前景运动建模和静态背景重建的效果。

🔬 方法详解

问题定义：本文旨在解决动态场景重建中现有变形网络缺乏运动感知的问题，导致前景变形不准确和背景伪静态残留。

核心思路：MVFusion-GS通过引入运动方差引导的精炼和运动变换器时序注意力模块，增强了对运动的感知能力，从而改善了动态与静态的分离效果。

技术框架：该方法主要包括两个模块：运动方差引导的精炼模块和运动变换器时序注意力模块。前者聚合每个高斯的变形统计信息以估计运动方差，后者利用Transformer自注意力机制建模局部运动依赖性。

关键创新：最重要的创新在于引入了运动方差引导的精炼机制，使得变形网络能够更好地捕捉运动信息，并通过时序注意力模块增强时间一致性，这与传统方法的设计有本质区别。

关键设计：在参数设置上，运动方差的计算依赖于时间序列数据的聚合，损失函数设计上强调动态与静态分离的准确性，网络结构上结合了Transformer的自注意力机制以增强时序建模能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MVFusion-GS在动态场景重建和无干扰重建基准上均达到了最先进的性能，相较于现有基线方法，前景运动建模和静态背景重建的效果提升显著，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括动态场景重建、虚拟现实、增强现实等，能够为实时场景合成提供更高质量的视觉效果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis for static scenes. Extending it to dynamic scenes via deformation fields has recently attracted significant attention, particularly for dynamic scene reconstructionband distractor-free. However, existing deformation networks lack explicit motion awareness: they neither capture long-term motion intensity nor exploit short-term temporal coherence, leading to inaccurate foreground deformation and pseudo-static residuals in the background. We present MVFusion-GS, a method that enhances deformation networks with two complementary motion-aware mechanisms. The Motion-Variance Guided Refinement aggregates per-Gaussian deformation statistics across time to estimate motion variance and uses it to guide dynamic-static separation during deformation prediction. The MotionFormer Temporal Attention module applies Transformer self-attention over neighboring timesteps to model local motion dependencies and improve temporal consistency. Extensive experiments on both dynamic scene reconstruction and distractor-free reconstruction benchmarks demonstrate state-of-the-art performance, showing that explicit motion awareness improves both foreground motion modeling and static background reconstruction.