DeGenseGS: Geometrically and Semantically Decoupled Surgical Scene Understanding in 4D Gaussian Splatting

📄 arXiv: 2607.04761v1 📥 PDF

作者: Yimo Wang, Bin Kang, Shuojue Yang, Yueming Jin

分类: cs.CV

发布日期: 2026-07-06

💡 一句话要点

提出DeGenseGS以解决手术场景理解中的几何与语义耦合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 手术场景理解 4D重建 语义分离 几何变形 自主手术 医疗图像分析 深度学习

📋 核心要点

  1. 现有方法在语义与几何之间存在严重错位，导致手术场景理解的准确性不足。
  2. 提出DeGenseGS框架，通过独立建模语义演变与几何变形，解决了现有方法的耦合问题。
  3. 在CholecSeg8k和EndoVis18数据集上，DeGenseGS实现了最先进的性能，显著提升了几何完整性和语义对齐的鲁棒性。

📝 摘要（中文）

实时、可通过文本提示的4D重建对于自主手术交互至关重要。然而，现有解决方案通过刚性耦合方案将语义特征与几何变形紧密绑定，导致语义与物理解剖之间严重错位。本文提出DeGenseGS框架，独立建模语义演变与几何变形，采用HexPlane基础的时空纠缠模块，使用共享运动潜变量同步语义变化与场景动态，同时明确解耦语义更新与几何变形。为确保重建的鲁棒性，设计了栅格化原生语义提取机制，从拓扑连续特征图中推断语义。通过角度对齐优化策略，防止语义失真。对CholecSeg8k和EndoVis18数据集的广泛评估表明，DeGenseGS实现了最先进的性能，增强了几何完整性和鲁棒的语义-解剖对齐，能够在剧烈组织变形和拓扑转变中实现空间连续分割。

🔬 方法详解

问题定义：本文旨在解决手术场景理解中语义与几何之间的严重错位问题。现有方法通过刚性耦合将语义特征与几何变形紧密绑定，导致重建效果不佳，尤其在组织变形剧烈时。

核心思路：DeGenseGS框架的核心思想是独立建模语义演变与几何变形，采用HexPlane基础的时空纠缠模块，通过共享运动潜变量同步语义变化与场景动态，从而实现语义与几何的解耦。

技术框架：该框架主要包括三个模块：时空纠缠模块、栅格化原生语义提取机制和角度对齐优化策略。时空纠缠模块负责同步语义与几何变化，语义提取机制从拓扑连续特征图中推断语义，而优化策略则确保在超球面潜空间中的语义一致性。

关键创新：最重要的创新点在于将语义更新与几何变形明确解耦，采用HexPlane模块实现时空同步，显著提升了重建的鲁棒性和准确性。与现有方法相比，DeGenseGS在处理复杂场景时表现出更好的性能。

关键设计：在设计中，采用了共享运动潜变量以实现语义与几何的同步，损失函数设计上注重语义与几何的分离，同时在网络结构中引入了栅格化原生语义提取机制，以提高语义推断的准确性。整体架构确保了在剧烈组织变形下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CholecSeg8k和EndoVis18数据集上的实验结果显示，DeGenseGS在几何完整性和语义对齐方面均达到了最先进的水平，具体性能提升幅度超过了现有基线方法，展示了其在复杂手术场景中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在自主手术机器人、增强现实手术导航和医疗图像分析等领域。通过提高手术场景理解的准确性，DeGenseGS能够显著提升手术的安全性和效率，未来可能推动智能医疗技术的发展。

📄 摘要（原文）

Real-time, text-promptable 4D reconstruction is indispensable for autonomous surgical interaction. Severe misalignment between semantic meaning and physical anatomy still persists, largely because existing solutions integrate Vision-Language Models into deformable fields via a rigid coupling scheme that tightly binds semantic features to geometric warping. In this paper, we propose DeGenseGS, Geometrically and Semantically Decoupled Surgical Scene Understanding in 4D Gaussian Splatting, a novel framework that independently models semantic evolution and geometric deformation. Specifically, we propose a HexPlane-based spatiotemporal entanglement module that uses shared kinematic latents to synchronize semantic mutations with scene dynamics, while explicitly disentangling semantic updates from geometric deformation. To further ensure robustness against reconstruction artifacts, we devise a Rasterization-Native Semantic Extraction mechanism that infers semantics from topologically continuous feature maps. Additionally, we incorporate an angular-aligned optimization strategy that conforms to the native hyperspherical latent space, thereby preventing semantic distortion. Extensive evaluations on the CholecSeg8k and EndoVis18 datasets demonstrate that DeGenseGS achieves state-of-the-art performance. Our framework yields enhanced geometric completeness and robust semantic-anatomic alignment, enabling spatially continuous segmentation despite drastic tissue deformation and topological transitions.