MedGS: Gaussian Splatting for Multi-Modal 3D Medical Imaging

📄 arXiv: 2509.16806v1 📥 PDF

作者: Kacper Marzol, Ignacy Kolton, Weronika Smolak-Dyżewska, Joanna Kaleta, Marcin Mazur, Przemysław Spurek

分类: cs.CV

发布日期: 2025-09-20

💡 一句话要点

MedGS：基于高斯溅射的多模态3D医学影像重建与插值

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 医学影像 三维重建 高斯溅射 多模态融合 神经隐式表面 帧插值 半监督学习

📋 核心要点

  1. 传统医学影像重建方法在处理噪声和帧间信息不完整时面临挑战，影响建模、配准和可视化。
  2. MedGS采用高斯溅射表示医学影像数据，实现稳健的帧插值和高保真表面重建，提升了训练效率。
  3. MedGS的显式表示增强了噪声鲁棒性，支持灵活编辑，并能精确建模复杂解剖结构，减少伪影。

📝 摘要（中文）

本文提出MedGS，一个半监督神经隐式表面重建框架，利用基于高斯溅射(GS)的插值机制处理多模态三维医学影像数据，包括超声、磁共振成像(MRI)以及可能的计算机断层扫描(CT)。该方法将医学影像数据表示为嵌入3D空间的连续2D帧，并使用基于高斯分布进行建模，从而实现稳健的帧插值和高保真表面重建。MedGS比传统的神经隐式方法训练效率更高，其显式GS表示增强了噪声鲁棒性，支持灵活编辑，并能以更少的伪影精确建模复杂的解剖结构。这些特性使MedGS非常适合医学影像中的可扩展和实际应用。

🔬 方法详解

问题定义：论文旨在解决多模态3D医学影像重建和帧间插值问题。现有方法，特别是传统的神经隐式表面重建方法，在处理医学影像数据时，容易受到图像噪声和帧间信息不完整的影响，导致重建质量下降，训练效率低，且难以进行灵活编辑。

核心思路：论文的核心思路是将医学影像数据表示为3D空间中的高斯分布，利用高斯溅射（Gaussian Splatting, GS）技术进行建模和渲染。GS是一种显式的场景表示方法，通过优化高斯参数来拟合目标表面，从而实现高质量的重建和插值。这种显式表示方式相比隐式表示，具有更高的噪声鲁棒性和更快的训练速度。

技术框架：MedGS框架主要包含以下几个阶段：1) 数据预处理：将多模态医学影像数据转换为一系列2D帧，并将其嵌入到3D空间中。2) 高斯初始化：在3D空间中初始化一组高斯分布，作为场景的初始表示。3) 优化：通过最小化重建误差和正则化项，优化高斯分布的参数，包括位置、协方差矩阵、颜色和透明度等。4) 渲染：使用高斯溅射技术，将优化后的高斯分布渲染成3D图像。

关键创新：MedGS的关键创新在于将高斯溅射技术应用于多模态医学影像的重建和插值。与传统的神经隐式方法相比，MedGS采用显式的高斯表示，避免了复杂的网络结构和训练过程，提高了训练效率和噪声鲁棒性。此外，MedGS还支持灵活的编辑操作，可以方便地修改和调整重建结果。

关键设计：MedGS的关键设计包括：1) 高斯分布的参数化：使用位置、协方差矩阵、颜色和透明度等参数来描述每个高斯分布。2) 损失函数：采用重建误差和正则化项的加权和作为损失函数，其中重建误差用于衡量重建结果与原始数据的差异，正则化项用于约束高斯分布的形状和大小，防止过拟合。3) 优化算法：使用基于梯度下降的优化算法，如Adam，来优化高斯分布的参数。

📊 实验亮点

论文提出的MedGS方法在多模态医学影像重建任务上表现出色，相较于传统的神经隐式方法，训练效率显著提升，且重建结果具有更高的保真度和更少的伪影。由于论文中没有给出具体的性能数据和对比基线，因此无法量化提升幅度，但摘要中强调了其在噪声鲁棒性、灵活编辑和精确建模复杂解剖结构方面的优势。

🎯 应用场景

MedGS在医学影像领域具有广泛的应用前景，可用于辅助医生进行疾病诊断、手术规划和治疗评估。例如，医生可以利用MedGS重建患者的器官和组织的三维模型，从而更直观地了解病灶的位置和形态。此外，MedGS还可以用于医学教育和培训，帮助学生更好地理解人体解剖结构。

📄 摘要（原文）

Multi-modal three-dimensional (3D) medical imaging data, derived from ultrasound, magnetic resonance imaging (MRI), and potentially computed tomography (CT), provide a widely adopted approach for non-invasive anatomical visualization. Accurate modeling, registration, and visualization in this setting depend on surface reconstruction and frame-to-frame interpolation. Traditional methods often face limitations due to image noise and incomplete information between frames. To address these challenges, we present MedGS, a semi-supervised neural implicit surface reconstruction framework that employs a Gaussian Splatting (GS)-based interpolation mechanism. In this framework, medical imaging data are represented as consecutive two-dimensional (2D) frames embedded in 3D space and modeled using Gaussian-based distributions. This representation enables robust frame interpolation and high-fidelity surface reconstruction across imaging modalities. As a result, MedGS offers more efficient training than traditional neural implicit methods. Its explicit GS-based representation enhances noise robustness, allows flexible editing, and supports precise modeling of complex anatomical structures with fewer artifacts. These features make MedGS highly suitable for scalable and practical applications in medical imaging.