An Endoscopic Chisel: Intraoperative Imaging Carves 3D Anatomical Models
作者: Jan Emily Mangulabnan, Roger D. Soberanis-Mukul, Timo Teufel, Manish Sahu, Jose L. Porras, S. Swaroop Vedula, Masaru Ishii, Gregory Hager, Russell H. Taylor, Mathias Unberath
分类: cs.CV
发布日期: 2024-02-19
💡 一句话要点
提出基于内窥镜视频更新3D解剖模型以解决导航手术问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 内窥镜视频 3D解剖模型 鼻窦手术 实时更新 深度估计 体积融合 数字双胞胎
📋 核心要点
- 现有的术前成像方法无法反映手术过程中解剖结构的变化，导致导航不准确。
- 本研究提出了一种基于内窥镜视频的视觉方法，实时更新3D解剖模型以适应术中变化。
- 实验结果显示，更新后的模型在解剖修改区域的误差逐步降低，提升了手术导航的准确性。
📝 摘要（中文）
本研究旨在解决在鼻窦手术中，术中解剖变化未能在术前模型中体现的问题。我们提出了一种基于内窥镜视频的视觉方法，通过比较术中单目深度估计与术前深度渲染，识别并更新解剖模型。实验结果表明，更新后的模型在手术进程中误差逐渐减小，显示出该方法的有效性。未来研究将探讨改进单目深度估计及去除外部导航系统的需求。
🔬 方法详解
问题定义：本研究解决了在鼻窦手术中，术前3D解剖模型无法反映术中解剖变化的问题。现有方法依赖于术前CT成像，无法适应手术过程中发生的解剖变化，导致导航不准确。
核心思路：我们提出了一种基于内窥镜视频的视觉方法，通过实时更新术前3D解剖模型，利用已知的相机位姿来识别和整合术中变化的解剖区域。
技术框架：该方法包括几个主要模块：首先，通过内窥镜视频获取术中单目深度估计；其次，与术前深度渲染进行比较，识别解剖修改区域；最后，通过截断签名距离函数（TSDF）进行体积融合，生成更新后的3D模型。
关键创新：本研究的创新点在于首次将内窥镜视频用于实时更新3D解剖模型，克服了传统方法在手术过程中无法适应解剖变化的局限性。
关键设计：在技术细节上，我们采用了单目深度估计算法，并通过体积融合技术实现了对解剖模型的动态更新，确保了模型的准确性和实时性。具体的参数设置和损失函数设计在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在五步手术进程中，更新后的模型在解剖修改区域的误差逐步降低，与未更新模型相比，表现出显著的准确性提升。这一结果验证了我们方法的有效性，为术中导航提供了更可靠的支持。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在鼻窦手术等复杂外科手术中。通过实时更新解剖模型，外科医生能够获得更准确的解剖信息，从而提高手术的安全性和有效性。此外，该方法为未来数字双胞胎技术在外科领域的应用奠定了基础。
📄 摘要（原文）
Purpose: Preoperative imaging plays a pivotal role in sinus surgery where CTs offer patient-specific insights of complex anatomy, enabling real-time intraoperative navigation to complement endoscopy imaging. However, surgery elicits anatomical changes not represented in the preoperative model, generating an inaccurate basis for navigation during surgery progression. Methods: We propose a first vision-based approach to update the preoperative 3D anatomical model leveraging intraoperative endoscopic video for navigated sinus surgery where relative camera poses are known. We rely on comparisons of intraoperative monocular depth estimates and preoperative depth renders to identify modified regions. The new depths are integrated in these regions through volumetric fusion in a truncated signed distance function representation to generate an intraoperative 3D model that reflects tissue manipulation. Results: We quantitatively evaluate our approach by sequentially updating models for a five-step surgical progression in an ex vivo specimen. We compute the error between correspondences from the updated model and ground-truth intraoperative CT in the region of anatomical modification. The resulting models show a decrease in error during surgical progression as opposed to increasing when no update is employed. Conclusion: Our findings suggest that preoperative 3D anatomical models can be updated using intraoperative endoscopy video in navigated sinus surgery. Future work will investigate improvements to monocular depth estimation as well as removing the need for external navigation systems. The resulting ability to continuously update the patient model may provide surgeons with a more precise understanding of the current anatomical state and paves the way toward a digital twin paradigm for sinus surgery.