DD-VNB: A Depth-based Dual-Loop Framework for Real-time Visually Navigated Bronchoscopy

📄 arXiv: 2403.01683v2 📥 PDF

作者: Qingyao Tian, Huai Liao, Xinyan Huang, Jian Chen, Zihui Zhang, Bingyu Yang, Sebastien Ourselin, Hongbin Liu

分类: cs.CV

发布日期: 2024-03-04 (更新: 2024-03-15)

期刊: 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

DOI: 10.1109/IROS58592.2024.10801553

💡 一句话要点

提出DD-VNB框架以解决实时支气管镜导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 支气管镜导航 深度估计 实时定位 自我运动估计 循环对抗网络 医疗影像 计算机视觉

📋 核心要点

  1. 现有的视觉导航技术在实时支气管镜定位中面临泛化能力不足和计算速度慢的挑战。
  2. 提出的DD-VNB框架通过深度估计和双循环定位模块，消除了患者特定纹理，实现了无需重新训练的泛化能力。
  3. 实验结果显示，单目深度估计超越了现有技术，定位精度显著提高，且实现了接近视频捕捉的实时性能。

📝 摘要（中文）

实时的六自由度支气管镜定位对于提升介入质量至关重要。然而，现有的基于视觉的技术在对未见数据的泛化能力和计算速度之间难以取得平衡。本研究提出了一种基于深度的双循环框架（DD-VNB），能够在不需要重新训练的情况下，跨患者案例进行泛化。该框架集成了深度估计和双循环定位两个关键模块，利用知识嵌入的深度估计网络消除患者特定纹理，从而确保泛化能力。实验结果表明，单目深度估计超越了现有最优技术，定位精度在假体和患者数据中分别达到了4.7±3.17毫米和6.49±3.88毫米，且帧率接近视频捕捉速度，显示出其在实时支气管镜导航中的临床潜力。

🔬 方法详解

问题定义：本研究旨在解决实时支气管镜的六自由度定位问题。现有方法在面对不同患者时，往往需要重新训练，导致泛化能力不足和计算速度慢。

核心思路：DD-VNB框架通过引入知识嵌入的深度估计网络，消除患者特定纹理，从而实现对未见数据的有效泛化，同时结合快速的自我运动估计网络，提升定位的实时性能。

技术框架：该框架主要由两个模块组成：深度估计模块和双循环定位模块。深度估计模块负责将内窥镜帧映射到深度，而双循环定位模块则通过快速的自我运动估计网络和深度注册过程相结合，提供高频率的位姿变化估计。

关键创新：最重要的创新在于知识嵌入的深度估计网络，该网络通过循环对抗架构实现了规模受限的单目深度估计，显著提高了对不同患者的泛化能力。

关键设计：在网络设计上，采用了循环对抗网络结构，并在损失函数中嵌入了视图合成知识，以增强深度估计的准确性。同时，自我运动推断网络的嵌入提升了定位的速度和精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，单目深度估计的性能超越了当前的最优技术，定位精度在假体实验中达到了4.7±3.17毫米，在患者数据中为6.49±3.88毫米。此外，框架的帧率接近视频捕捉速度，显示出其在临床应用中的巨大潜力。

🎯 应用场景

该研究的DD-VNB框架具有广泛的应用潜力，特别是在医疗领域的实时支气管镜导航中。通过提升定位精度和实时性能，该技术能够显著改善介入手术的质量和安全性，未来可能在其他内窥镜手术中得到推广应用。

📄 摘要（原文）

Real-time 6 DOF localization of bronchoscopes is crucial for enhancing intervention quality. However, current vision-based technologies struggle to balance between generalization to unseen data and computational speed. In this study, we propose a Depth-based Dual-Loop framework for real-time Visually Navigated Bronchoscopy (DD-VNB) that can generalize across patient cases without the need of re-training. The DD-VNB framework integrates two key modules: depth estimation and dual-loop localization. To address the domain gap among patients, we propose a knowledge-embedded depth estimation network that maps endoscope frames to depth, ensuring generalization by eliminating patient-specific textures. The network embeds view synthesis knowledge into a cycle adversarial architecture for scale-constrained monocular depth estimation. For real-time performance, our localization module embeds a fast ego-motion estimation network into the loop of depth registration. The ego-motion inference network estimates the pose change of the bronchoscope in high frequency while depth registration against the pre-operative 3D model provides absolute pose periodically. Specifically, the relative pose changes are fed into the registration process as the initial guess to boost its accuracy and speed. Experiments on phantom and in-vivo data from patients demonstrate the effectiveness of our framework: 1) monocular depth estimation outperforms SOTA, 2) localization achieves an accuracy of Absolute Tracking Error (ATE) of 4.7 $\pm$ 3.17 mm in phantom and 6.49 $\pm$ 3.88 mm in patient data, 3) with a frame-rate approaching video capture speed, 4) without the necessity of case-wise network retraining. The framework's superior speed and accuracy demonstrate its promising clinical potential for real-time bronchoscopic navigation.