GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time

📄 arXiv: 2403.10147v2 📥 PDF

作者: Hao Li, Yuanyuan Gao, Chenming Wu, Dingwen Zhang, Yalun Dai, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang, Junwei Han

分类: cs.CV

发布日期: 2024-03-15 (更新: 2024-03-19)

备注: Project page: https://3d-aigc.github.io/GGRt

💡 一句话要点

提出GGRt以解决实时3D高斯点云合成中的相机姿态依赖问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 实时渲染 无姿态合成 计算机视觉 计算机图形学 联合学习 高分辨率训练

📋 核心要点

  1. 现有方法在进行3D高斯点云合成时，通常依赖于真实相机姿态，限制了其在实际应用中的灵活性和效率。
  2. 本文提出的GGRt框架通过联合学习机制，能够从图像中估计相对姿态信息，减少对真实相机姿态的依赖，同时实现高分辨率的训练和推理。
  3. 实验结果表明，GGRt在推理速度和效果上均优于现有的无姿态NeRF技术，且在多个数据集上表现出色，支持实时渲染。

📝 摘要（中文）

本文提出了一种新颖的方法GGRt，旨在解决通用新视图合成中对真实相机姿态的依赖、处理高分辨率图像的复杂性以及冗长的优化过程，从而增强3D高斯点云（3D-GS）在实际场景中的适用性。我们设计了一个新颖的联合学习框架，包括迭代姿态优化网络（IPO-Net）和通用3D高斯模型（G-3DG）。通过联合学习机制，该框架能够从图像观测中内在地估计稳健的相对姿态信息，显著减少对真实相机姿态的需求。此外，我们实现了一种延迟反向传播机制，使得高分辨率训练和推理成为可能，克服了以往方法的分辨率限制。GGRt作为首个无姿态的通用3D-GS框架，实现了≥5 FPS的推理速度和≥100 FPS的实时渲染速度。通过广泛的实验，我们证明了该方法在推理速度和效果上优于现有的基于NeRF的无姿态技术，并接近真实姿态的3D-GS方法。我们的贡献为计算机视觉与计算机图形学的实际应用整合提供了重要进展。

🔬 方法详解

问题定义：本文旨在解决在3D高斯点云合成中对真实相机姿态的依赖问题，现有方法在处理高分辨率图像时存在复杂性和效率低下的痛点。

核心思路：GGRt框架通过设计一个联合学习机制，结合迭代姿态优化网络（IPO-Net）和通用3D高斯模型（G-3DG），从图像中自动估计相对姿态信息，减少对真实相机姿态的需求。

技术框架：该框架主要包括两个模块：IPO-Net用于姿态优化，G-3DG用于生成3D高斯点云。此外，采用延迟反向传播机制以支持高分辨率训练和推理，进而提高效率。

关键创新：GGRt是首个无姿态的通用3D-GS框架，其通过动态调整的高斯缓存模块，显著提升了训练和推理速度，解决了以往方法的分辨率限制。

关键设计：在网络结构上，采用了多层次的高斯表示，并通过特定的损失函数优化姿态估计与点云生成的协同效果，确保了生成结果的高质量与高效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GGRt在推理速度上达到≥5 FPS，实时渲染速度达到≥100 FPS，显著优于现有的基于NeRF的无姿态技术，且在多个数据集（如LLFF、KITTI和Waymo Open）上取得了优异的效果，展示了其在实际应用中的强大潜力。

🎯 应用场景

GGRt框架在虚拟现实、增强现实和计算机图形学等领域具有广泛的应用潜力。其实时渲染能力使得用户能够在沉浸式体验中获得更高的交互性和视觉效果，推动了相关技术的实际应用与发展。

📄 摘要（原文）

This paper presents GGRt, a novel approach to generalizable novel view synthesis that alleviates the need for real camera poses, complexity in processing high-resolution images, and lengthy optimization processes, thus facilitating stronger applicability of 3D Gaussian Splatting (3D-GS) in real-world scenarios. Specifically, we design a novel joint learning framework that consists of an Iterative Pose Optimization Network (IPO-Net) and a Generalizable 3D-Gaussians (G-3DG) model. With the joint learning mechanism, the proposed framework can inherently estimate robust relative pose information from the image observations and thus primarily alleviate the requirement of real camera poses. Moreover, we implement a deferred back-propagation mechanism that enables high-resolution training and inference, overcoming the resolution constraints of previous methods. To enhance the speed and efficiency, we further introduce a progressive Gaussian cache module that dynamically adjusts during training and inference. As the first pose-free generalizable 3D-GS framework, GGRt achieves inference at $\ge$ 5 FPS and real-time rendering at $\ge$ 100 FPS. Through extensive experimentation, we demonstrate that our method outperforms existing NeRF-based pose-free techniques in terms of inference speed and effectiveness. It can also approach the real pose-based 3D-GS methods. Our contributions provide a significant leap forward for the integration of computer vision and computer graphics into practical applications, offering state-of-the-art results on LLFF, KITTI, and Waymo Open datasets and enabling real-time rendering for immersive experiences.