Phase-DGS: Phase-guided Dynamic Gaussian Splatting from Unsynchronized Multi-view Video
作者: Hosung Jeon, Jun Young Jeong, Sangwoon Kwak, Joonsoo Kim, Sangmin Kim, Jaesik Park, Won-Sik Cheong, Hyon-Gon Choo
分类: cs.CV, cs.GR
发布日期: 2026-11-03
备注: Accepted to NeurIPS 2026. Project page: https://oc-dev74.github.io/Phase-DGS/
💡 一句话要点
提出Phase-DGS以解决动态高斯点云重建中的时间同步问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态高斯点云 时空重建 多视角视频 语义相位 无同步摄像头 计算机视觉 虚拟现实 增强现实
📋 核心要点
- 现有的动态高斯点云重建方法依赖于摄像头之间的完美时间同步，实际应用中难以实现。
- 本文提出Phase-DGS框架，通过语义相位替代时间戳，建立无同步摄像头之间的时空对应关系。
- 实验验证表明，Phase-DGS在多种情况下表现优异，PSNR提升最高可达8.5 dB，且可与现有DGS框架兼容。
📝 摘要（中文）
动态高斯点云重建（DGS）依赖于各摄像头之间的完美时间同步，这在实际中难以实现。传统的同步方法需要昂贵的专用硬件和复杂的设置，而数据驱动的替代方案如音频对齐、几何匹配和姿态跟踪则受到环境或场景特定假设的限制。为了解决这些问题，本文提出了Phase-DGS框架，用语义相位替代传统时间戳，表示每帧在运动周期中的固有状态。捕捉相同运动状态的帧共享相同相位，从而自然建立了不同摄像头之间的时空对应关系。实验结果表明，Phase-DGS在时间偏移、帧丢失和摄像头冻结情况下，较基线方法提高了最高8.5 dB的PSNR，同时能够与现有DGS框架无缝集成。
🔬 方法详解
问题定义：本文旨在解决动态高斯点云重建中对时间同步的依赖问题。现有方法往往需要昂贵的硬件和复杂的设置，且数据驱动的方法受到环境限制，难以广泛应用。
核心思路：Phase-DGS通过引入语义相位，替代传统的时间戳，表示每帧在运动周期中的状态。这样一来，无论是哪个摄像头捕捉的帧，只要处于相同的运动状态，就可以共享相同的相位，从而实现时空对应。
技术框架：Phase-DGS框架主要包括相位提取模块、帧匹配模块和重建模块。相位提取模块负责分析每帧的运动状态，帧匹配模块则利用相位信息建立不同摄像头之间的对应关系，最后重建模块生成高质量的点云。
关键创新：最重要的创新点在于用语义相位替代时间戳，这一设计使得在无同步情况下也能实现高效的时空重建，显著提升了重建的灵活性和准确性。
关键设计：在设计中，关键参数包括相位的定义和计算方式，损失函数则考虑了重建质量和时空一致性。此外，网络结构采用了适应性模块，以便在不同场景下进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Phase-DGS在处理时间偏移、帧丢失和摄像头冻结等情况时，PSNR提升最高可达8.5 dB，相较于基线方法表现出显著的性能提升，证明了其在动态场景重建中的有效性和鲁棒性。
🎯 应用场景
Phase-DGS框架在多视角视频的时空重建中具有广泛的应用潜力，尤其适用于需要高精度重建的领域，如虚拟现实、增强现实和影视制作等。其灵活性和高效性使得在复杂环境中也能实现高质量的重建，具有重要的实际价值和未来影响。
📄 摘要（原文）
Spatiotemporal scene reconstruction with Dynamic Gaussian Splatting (DGS) fundamentally depends on perfect temporal synchronization across all cameras, an assumption rarely achievable in practice. Industry-standard synchronization requires expensive specialized hardware and complex setup, while data-driven alternatives including audio-based alignment, geometry matching, and pose tracking remain limited by restrictive environmental or scene-specific assumptions. To overcome these limitations, we propose Phase-DGS, a framework that replaces conventional timestamps with a semantic phase representing each frame's inherent state within the underlying motion cycle. Frames capturing the same motion state share the same phase regardless of which camera records them or when, naturally establishing spatiotemporal correspondence across unsynchronized cameras. We validate Phase-DGS under temporal offsets, frame drops, and camera freezes, achieving up to +8.5 dB PSNR improvement over baselines while enabling seamless integration with existing DGS backbones including RealTime-4DGS and FreeTimeGS.