SMG: Semantic Motion Graph for Monocular Dynamic Gaussian Splatting

📄 arXiv: 2608.31023v1 📥 PDF

作者: Haozheng Yu, Xinyu Yang, Rundong Luo, Jennifer J. Sun, Bharath Hariharan

分类: cs.CV

发布日期: 2026-08-31

备注: ECCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出语义运动图以解决单目动态高斯点云建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态高斯点云 语义运动图 单目视频 计算机视觉 场景理解 运动建模 多视角数据集

📋 核心要点

  1. 现有动态高斯点云方法在训练视角上容易过拟合，且在遮挡和复杂运动场景中表现不佳，缺乏有效的正则化信号。
  2. 提出的语义运动图（SMG）通过将高斯运动建模为低秩语义运动，利用空间和语义一致性来改善动态建模效果。
  3. 在新的多视角数据集上进行的广泛实验表明，SMG在多个复杂真实场景基准测试中实现了最先进的性能。

📝 摘要（中文）

我们研究了基于单目视频的动态高斯点云建模。尽管近期动态高斯点云技术取得了一定进展，但在训练视角过拟合、遮挡或复杂场景运动下表现不佳，主要由于缺乏可靠的正则化信号。为此，我们提出了语义运动图（SMG），将高斯运动建模为低秩语义运动。我们的关键见解是，真实场景运动通常由语义一致性结构化：空间相近且语义相关的区域往往表现出一致的动态。SMG通过构建图模型来利用这一先验，驱动高斯运动。我们还观察到，高斯运动的不确定性源于不可靠的先验和优化过程中的弱约束区域。SMG通过使用可靠的图节点来引导附近不可靠节点的运动。我们引入了一个新的多视角数据集，以评估动态高斯点云在复杂真实场景下的表现。实验表明，SMG在单目动态高斯点云建模上达到了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决单目视频中动态高斯点云建模的挑战，现有方法在复杂场景和遮挡情况下表现不佳，容易过拟合训练数据。

核心思路：我们提出语义运动图（SMG），通过将高斯运动视为低秩语义运动，利用空间和语义的一致性来改善动态建模的可靠性。

技术框架：SMG的整体架构包括构建语义运动图、驱动高斯运动的节点以及优化过程中对不可靠节点的引导。主要模块包括图节点的构建、运动驱动机制和优化策略。

关键创新：SMG的核心创新在于利用语义一致性来结构化运动，显著提高了动态场景建模的准确性和鲁棒性，与传统方法相比，能够更好地处理复杂场景和遮挡问题。

关键设计：在设计中，我们设置了可靠的图节点来引导不可靠节点的运动，并采用了适当的损失函数以平衡优化过程中的不确定性和约束条件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SMG在多个复杂真实场景基准测试中表现出色，相较于现有方法，性能提升显著，具体数据表明在动态高斯点云建模任务中，SMG达到了最先进的性能水平，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的动态场景理解、机器人导航、增强现实等。通过提高动态场景建模的准确性，SMG能够在实际应用中提供更可靠的环境感知和交互体验，未来可能推动相关技术的发展与应用。

📄 摘要（原文）

We study dynamic Gaussian Splatting from monocular videos. While recent advancements in dynamic Gaussian splatting offer a promising foundation for modeling dynamic scenes, they often overfit to the training views and fail under occlusion or complex scene motion due to the lack of reliable regularization signals in under-constrained regions. We propose Semantic Motion Graph (SMG), a novel approach models the Gaussian motion as the low-rank semantic motion. Our key insight is that the real-world scene motion is often structured by semantic coherence: regions that are spatially close and semantically related tend to exhibit consistent dynamics. To leverage this prior, we construct SMG to model structured motion of the scene. The Gaussian motion is driven by the motion of SMG nodes. We further observe that the uncertainty of Gaussian motion arises from both unreliable off-the-shelf priors and weakly constrained regions during optimization. SMG addresses this by using reliable graph nodes to guide the motion of nearby unreliable nodes. To evaluate dynamic Gaussian splatting under challenging real-world scenarios, we introduce a new multiview dataset collected under an ego-exo setup. Extensive experiments demonstrate that SMG achieves state-of-the-art performance on monocular dynamic Gaussian splatting across challenging real-world benchmarks. Project page: https://smg-gaussian.github.io/.