EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction
作者: Yifan Liu, Chenxin Li, Chen Yang, Yixuan Yuan
分类: cs.CV
发布日期: 2024-01-23 (更新: 2024-02-13)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EndoGaussian以解决动态内窥镜场景重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 内窥镜重建 高斯点云 实时渲染 深度估计 组织变形 动态跟踪 外科应用
📋 核心要点
- 现有的内窥镜场景重建方法渲染速度较慢，限制了其在实际手术中的应用。
- 本文提出EndoGaussian框架，通过高效的高斯表示和优化的渲染引擎，实现实时场景重建。
- 实验结果显示，EndoGaussian在渲染速度上达到195 FPS，质量提升至37.848 PSNR，训练开销低于2分钟/场景。
📝 摘要（中文）
重建内窥镜视频中的可变形组织在许多外科应用中至关重要。然而，现有方法的渲染速度较慢，限制了其实际应用。本文提出了EndoGaussian，一个基于3D高斯点云的实时内窥镜场景重建框架。通过集成高效的高斯表示和高度优化的渲染引擎，我们显著提升了渲染速度，达到实时水平。为适应内窥镜场景，我们提出了整体高斯初始化（HGI）和时空高斯跟踪（SGT）两种策略，分别解决高斯初始化和组织变形问题。实验结果表明，我们的方法在渲染速度、质量和训练开销等方面均优于现有最先进技术，显示出在手术中的应用潜力。
🔬 方法详解
问题定义：本文旨在解决从内窥镜视频中重建可变形组织的挑战，现有方法在渲染速度和质量上存在不足，影响了其在外科手术中的实际应用。
核心思路：EndoGaussian框架通过结合高效的高斯表示和优化的渲染引擎，提升了渲染速度，并提出了整体高斯初始化（HGI）和时空高斯跟踪（SGT）策略，以应对高斯初始化和组织变形问题。
技术框架：该框架主要包括两个模块：HGI用于深度图预测和高斯初始化，SGT用于建模表面动态，利用变形场进行高斯跟踪。
关键创新：HGI和SGT是本文的核心创新，HGI通过深度估计模型实现整体初始化，而SGT通过轻量级的变形解码器实现动态跟踪，显著降低了训练和渲染负担。
关键设计：在HGI中，利用双目或单目图像序列预测深度图，并进行像素重投影；在SGT中，采用高效编码体素和轻量解码器设计，确保高斯跟踪的高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EndoGaussian在渲染速度上达到195 FPS，相较于现有方法提升了100倍；渲染质量方面，PSNR值达到37.848，显示出显著的质量提升；训练开销控制在每场景2分钟以内，极大降低了使用门槛。
🎯 应用场景
EndoGaussian框架在内窥镜手术中具有广泛的应用潜力，能够实时重建可变形组织，为外科医生提供更直观的视觉信息，提升手术的安全性和有效性。未来，该技术可能扩展到其他医疗成像领域，促进更复杂的动态场景重建。
📄 摘要（原文）
Reconstructing deformable tissues from endoscopic videos is essential in many downstream surgical applications. However, existing methods suffer from slow rendering speed, greatly limiting their practical use. In this paper, we introduce EndoGaussian, a real-time endoscopic scene reconstruction framework built on 3D Gaussian Splatting (3DGS). By integrating the efficient Gaussian representation and highly-optimized rendering engine, our framework significantly boosts the rendering speed to a real-time level. To adapt 3DGS for endoscopic scenes, we propose two strategies, Holistic Gaussian Initialization (HGI) and Spatio-temporal Gaussian Tracking (SGT), to handle the non-trivial Gaussian initialization and tissue deformation problems, respectively. In HGI, we leverage recent depth estimation models to predict depth maps of input binocular/monocular image sequences, based on which pixels are re-projected and combined for holistic initialization. In SPT, we propose to model surface dynamics using a deformation field, which is composed of an efficient encoding voxel and a lightweight deformation decoder, allowing for Gaussian tracking with minor training and rendering burden. Experiments on public datasets demonstrate our efficacy against prior SOTAs in many aspects, including better rendering speed (195 FPS real-time, 100$\times$ gain), better rendering quality (37.848 PSNR), and less training overhead (within 2 min/scene), showing significant promise for intraoperative surgery applications. Code is available at: \url{https://yifliu3.github.io/EndoGaussian/}.