GUSH3R: Everyone Everywhere All at Once as Gaussians

📄 arXiv: 2607.05243v1 📥 PDF

作者: Keito Abe, Kaede Shiohara, Takashi Otonari, Toshihiko Yamasaki

分类: cs.CV

发布日期: 2026-07-06

备注: Project page: https://abkeito.github.io/gush3r-page/

💡 一句话要点

提出GUSH3R以解决动态人场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态重建 高斯表示 单目视频 新视图合成 计算机视觉 非刚性物体 深度学习

📋 核心要点

  1. 现有方法在动态人类和静态场景的重建中存在局限，尤其是在处理非刚性物体时表现不佳。
  2. GUSH3R框架通过3D高斯点表示，能够在单次前向传递中同时重建动态人和静态场景，提升了效率和质量。
  3. 实验结果显示，GUSH3R在新视图合成质量上具有竞争力，并在推理效率上显著优于基于优化的方法。

📝 摘要（中文）

从单目视频重建动态人场景环境是一项具有挑战性的任务，需要同时建模场景几何、相机运动和非刚性人类动态，同时实现照片级真实感渲染。现有的前馈方法虽然能有效预测几何形状，但通常限于非照片真实的表示，如点云和网格，或无法处理动态人类等非刚性物体。为填补这一空白，本文提出了GUSH3R（Gaussian-Unified Scene Human 3D Reconstruction），一个用于在线动态人场景重建的前馈框架。该方法从单目视频中重建动态人（每个人）和静态场景（每个地方），并以3D高斯点（作为高斯）形式在一次前向传递中完成，具有几何一致性和新视图合成能力。实验表明，该方法在单目人场景数据集上实现了竞争性的视图合成质量，同时显著提高了推理效率。

🔬 方法详解

问题定义：本文旨在解决从单目视频中重建动态人类和静态场景的挑战，现有方法在处理动态人类和实现照片级真实感方面存在不足。

核心思路：GUSH3R通过引入3D高斯点表示，能够在一次前向传递中同时重建动态人和静态场景，克服了传统方法的局限性。

技术框架：该方法的整体架构包括输入单目视频、提取动态人和静态场景特征、生成3D高斯点表示，并进行新视图合成。主要模块包括特征提取网络和高斯点生成模块。

关键创新：GUSH3R的核心创新在于使用3D高斯点作为重建原语，这种表示方式在几何一致性和新视图合成能力上优于传统的点云和网格表示。

关键设计：在网络结构上，采用了深度卷积神经网络进行特征提取，并设计了特定的损失函数以优化高斯点的生成和渲染质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GUSH3R在新视图合成质量上达到了竞争水平，相较于传统优化方法，推理效率提高了显著的幅度，具体性能数据未详述。

🎯 应用场景

GUSH3R的研究成果在虚拟现实、增强现实和影视制作等领域具有广泛的应用潜力。通过实现动态人类与静态场景的高效重建，该方法能够提升用户体验，推动相关技术的发展。

📄 摘要（原文）

Reconstructing dynamic human-scene environments from monocular videos is a challenging problem that requires jointly modeling scene geometry, camera motion, and non-rigid human dynamics while enabling photorealistic rendering. Recent feed-forward methods can efficiently predict geometry, but they are often limited to non-photorealistic representations such as point clouds and meshes, or they fail to handle non-rigid objects, particularly dynamic humans. To fill this gap, we present GUSH3R (Gaussian-Unified Scene Human 3D Reconstruction), a feed-forward framework for online dynamic human-scene reconstruction. From a monocular human-scene video, our method reconstructs dynamic humans (everyone) and static scenes (everywhere) in a single forward pass (all at once) as 3D Gaussian Splatting (3DGS) primitives (as gaussians), which are geometrically consistent and capable of novel view synthesis. Experiments on monocular human-scene datasets demonstrate that our approach achieves competitive novel view synthesis quality while significantly improving inference efficiency compared to optimization-based methods.