SAGS: Self-Adaptive Alias-Free Gaussian Splatting for Dynamic Surgical Endoscopic Reconstruction

📄 arXiv: 2510.27318v1 📥 PDF

作者: Wenfeng Huang, Xiangyun Liao, Yinling Qian, Hao Liu, Yongming Yang, Wenjing Jia, Qiong Wang

分类: cs.CV

发布日期: 2025-10-31

💡 一句话要点

提出SAGS，解决动态手术内窥镜重建中的伪影和混叠问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 3D高斯溅射 动态重建 内窥镜手术 可变形组织

📋 核心要点

  1. 现有神经辐射场方法在动态内窥镜重建中，由于组织运动导致的混叠和伪影，重建质量下降。
  2. SAGS通过引入注意力机制和动态加权4D变形解码器，结合3D平滑和2D Mip滤波，有效抑制伪影。
  3. 实验表明，SAGS在PSNR、SSIM和LPIPS等指标上优于现有技术，并提升了可视化效果。

📝 摘要（中文）

本文提出了一种自适应无混叠高斯溅射框架SAGS，用于动态手术内窥镜重建。神经辐射场(NeRFs)在可变形组织重建方面取得了显著进展，但内窥镜场景重建仍面临组织运动引起的混叠和伪影挑战。虽然3D高斯溅射(3DGS)提高了重建效率，但现有方法往往忽略了这些问题。SAGS引入了注意力驱动的动态加权4D变形解码器，利用3D平滑滤波器和2D Mip滤波器来减轻可变形组织重建中的伪影，并更好地捕捉组织运动的精细细节。在EndoNeRF和SCARED两个公共基准测试上的实验结果表明，与最先进的方法相比，我们的方法在PSNR、SSIM和LPIPS的所有指标上都取得了优异的性能，同时提供了更好的可视化质量。

🔬 方法详解

问题定义：论文旨在解决动态手术内窥镜视频重建中，由于组织形变和运动造成的混叠和伪影问题。现有的NeRF和3DGS方法在处理此类场景时，往往无法有效抑制这些伪影，导致重建质量下降，影响医生诊断。

核心思路：论文的核心思路是利用自适应的无混叠高斯溅射框架，通过学习组织形变过程中的时空关系，动态调整高斯参数，并结合滤波技术，从而减轻混叠和伪影。关键在于设计一个能够有效捕捉组织运动细节，并抑制噪声的形变模型。

技术框架：SAGS框架主要包含以下几个模块：1) 基于3DGS的场景表示，使用高斯分布来建模场景几何和外观；2) 注意力驱动的动态加权4D变形解码器，用于预测每个高斯分布随时间的形变；3) 3D平滑滤波器，用于减少形变过程中的噪声；4) 2D Mip滤波器，用于在渲染过程中抑制混叠。整体流程是：首先利用内窥镜视频初始化3DGS，然后通过优化高斯参数和形变解码器，实现动态场景的重建。

关键创新：论文的关键创新在于：1) 提出了注意力驱动的动态加权4D变形解码器，能够更好地捕捉组织运动的复杂性和不确定性；2) 结合了3D平滑滤波器和2D Mip滤波器，从时空两个维度抑制混叠和伪影；3) 将这些技术整合到3DGS框架中，实现了高效且高质量的动态内窥镜重建。与现有方法相比，SAGS能够更有效地处理组织形变带来的挑战。

关键设计：注意力机制用于动态调整4D变形解码器的权重，使其能够关注更重要的时空区域。3D平滑滤波器采用高斯核，用于平滑形变场，减少噪声。2D Mip滤波器在渲染过程中，根据视角和像素大小自适应地选择合适的纹理级别，从而抑制混叠。损失函数包括重建损失、正则化损失等，用于优化高斯参数和形变解码器。

📊 实验亮点

SAGS在EndoNeRF和SCARED两个公共数据集上进行了评估，实验结果表明，SAGS在PSNR、SSIM和LPIPS等指标上均优于现有方法。例如，在EndoNeRF数据集上，SAGS的PSNR比最先进的方法提高了约1-2dB，显著提升了重建质量和视觉效果。

🎯 应用场景

该研究成果可应用于机器人辅助手术，为医生提供更清晰、更准确的术中组织形态信息，辅助手术规划和导航，提高手术精度和安全性。此外，该技术还可用于医学影像分析、虚拟手术仿真等领域，具有广阔的应用前景和重要的临床价值。

📄 摘要（原文）

Surgical reconstruction of dynamic tissues from endoscopic videos is a crucial technology in robot-assisted surgery. The development of Neural Radiance Fields (NeRFs) has greatly advanced deformable tissue reconstruction, achieving high-quality results from video and image sequences. However, reconstructing deformable endoscopic scenes remains challenging due to aliasing and artifacts caused by tissue movement, which can significantly degrade visualization quality. The introduction of 3D Gaussian Splatting (3DGS) has improved reconstruction efficiency by enabling a faster rendering pipeline. Nevertheless, existing 3DGS methods often prioritize rendering speed while neglecting these critical issues. To address these challenges, we propose SAGS, a self-adaptive alias-free Gaussian splatting framework. We introduce an attention-driven, dynamically weighted 4D deformation decoder, leveraging 3D smoothing filters and 2D Mip filters to mitigate artifacts in deformable tissue reconstruction and better capture the fine details of tissue movement. Experimental results on two public benchmarks, EndoNeRF and SCARED, demonstrate that our method achieves superior performance in all metrics of PSNR, SSIM, and LPIPS compared to the state of the art while also delivering better visualization quality.