D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting

📄 arXiv: 2608.01588v1 📥 PDF

作者: Jijian Zhao

分类: cs.CV

发布日期: 2026-08-03

💡 一句话要点

提出D^2-4DGS以解决稀疏相机动态4D高斯渲染问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 动态场景合成 4D高斯渲染 稀疏相机 深度先验 几何约束 虚拟现实 增强现实

📋 核心要点

  1. 现有动态4D高斯渲染方法依赖于密集的多视角视频，导致捕获成本高且稀疏相机部署受限。
  2. D^2-4DGS框架通过双源深度先验，结合单目和多视角几何深度，提升了几何约束的可靠性。
  3. 在九个数据集视角设置中，D^2-4DGS的PSNR表现优于最佳对比方法，平均提升1.33 dB。

📝 摘要（中文）

动态4D高斯渲染作为一种高效的动态新视角合成表示方法，通过显式场景建模和实时渲染取得了显著进展。然而，现有方法通常需要密集的多视角视频以提供足够的几何约束，这使得捕获成本高昂并限制了稀疏相机的应用。为此，本文提出D^2-4DGS框架，通过双源深度先验引导稀疏相机的动态4D高斯渲染，利用单目估计与有效的多视角几何深度对齐，验证其一致性以识别可靠的几何锚点。实验结果表明，D^2-4DGS在九个数据集视角设置中实现了最高的PSNR，平均提升1.33 dB。

🔬 方法详解

问题定义：本文旨在解决动态4D高斯渲染中对密集多视角视频的依赖问题，现有方法在稀疏相机使用时容易导致几何约束不足，造成结构缺失和浮动高斯现象。

核心思路：D^2-4DGS框架通过结合单目深度和多视角几何深度的优势，利用双源深度先验来增强几何约束的可靠性，从而提升渲染效果。

技术框架：该框架主要包括以下几个模块：首先，通过单目深度估计和多视角几何深度的对齐，验证其一致性；其次，利用验证的几何锚点进行一致性感知的修剪和深度监督；最后，进行RGB-D联合优化以提升外观保真度和几何一致性。

关键创新：D^2-4DGS的创新在于有效整合了单目和多视角深度信息，利用验证的几何锚点来增强稀疏视图下的几何约束，这一方法显著提升了渲染的准确性和稳定性。

关键设计：在设计中，采用了特定的损失函数来平衡深度监督和外观优化，同时在网络结构中引入了对齐机制，以确保单目和多视角深度信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

D^2-4DGS在九个数据集视角设置中表现出色，平均PSNR提升1.33 dB，超越了最佳对比方法，展示了其在动态4D高斯渲染中的优越性能。

🎯 应用场景

该研究在动态场景合成、虚拟现实和增强现实等领域具有广泛的应用潜力。通过降低捕获成本并提升渲染质量，D^2-4DGS能够促进稀疏相机在实际应用中的部署，推动相关技术的发展。

📄 摘要（原文）

Dynamic 4D Gaussian Splatting has emerged as an efficient representation for dynamic novel view synthesis through explicit scene modeling and real-time rendering. However, existing methods typically require dense multi-view videos for sufficient geometric constraints, making capture expensive and limiting sparse-camera deployment. Reducing input views lowers acquisition cost but weakens geometry supervision, often causing missing structures and floating Gaussians. Depth priors provide geometric cues, yet no single source offers both dense coverage and reliable geometry. Monocular depth provides dense structure but is scale-ambiguous and locally biased, whereas multi-view geometric depth provides incomplete anchors consistent with the reconstruction coordinate system. To exploit their complementarity, we propose D$^2$-4DGS, a sparse-camera dynamic 4D Gaussian Splatting framework guided by dual-source depth priors. We align monocular estimates with valid multi-view geometric depths and verify their consistency to identify reliable geometric anchors. These verified anchors support consistency-aware pruning and depth supervision, while verified geometric depths and aligned mono-only estimates provide candidate geometry for densification in under-reconstructed regions. Finally, RGB-D joint optimization improves appearance fidelity and geometric consistency under sparse-view supervision. Across all nine dataset--view settings, D$^2$-4DGS achieves the highest PSNR, improving by 1.33 dB on average over the best competing method in each setting.