Motion-Guided Dual-Camera Tracker for Endoscope Tracking and Motion Analysis in a Mechanical Gastric Simulator
作者: Yuelin Zhang, Kim Yan, Chun Ping Lam, Chengyu Fang, Wenxuan Xie, Yufu Qiu, Raymond Shing-Yan Tang, Shing Shin Cheng
分类: cs.CV
发布日期: 2024-03-08 (更新: 2025-03-10)
备注: Accepted by ICRA 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出运动引导双摄像头跟踪器以解决内窥镜跟踪问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 内窥镜跟踪 双摄像头系统 运动预测 视觉跟踪 机械模拟器 医学培训 机器人手术
📋 核心要点
- 现有的电磁跟踪器在内窥镜运动跟踪中存在高成本和材料敏感性等不足，限制了其应用。
- 论文提出的运动引导双摄像头跟踪器通过交叉摄像头互模板策略和Mamba预测头来解决跟踪一致性和遮挡问题。
- 实验结果显示，该跟踪器在跟踪精度上显著优于现有方法，并能更好地区分不同水平的内窥镜操作者。
📝 摘要（中文）
灵活的内窥镜运动跟踪和分析在机械模拟器中对内窥镜培训具有重要意义。然而，基于电磁跟踪器的常用方法因其高成本和材料敏感性而受到限制。本文提出了一种运动引导的双摄像头视觉跟踪器，能够准确跟踪内窥镜尖端的三维位置。该跟踪器解决了在动态、真实大小的机械模拟器中跟踪灵活内窥镜尖端的多项独特挑战。为保持双摄像头跟踪的一致性，提出了交叉摄像头互模板策略（CMT），引入动态瞬态互模板。为缓解大遮挡和光照引起的失真，提出了基于Mamba的运动引导预测头（MMH），将历史运动与视觉跟踪相结合。实验结果表明，该跟踪器在平均误差和最大误差上分别比第二好的方法提高了42%和72%。
🔬 方法详解
问题定义：本文旨在解决在动态机械模拟器中对灵活内窥镜尖端进行准确跟踪的问题。现有的电磁跟踪器因高成本和材料敏感性而受到限制，无法满足实际应用需求。
核心思路：提出的运动引导双摄像头跟踪器结合了视觉跟踪和运动预测，通过引入动态互模板和历史运动信息来提高跟踪精度和一致性。
技术框架：该方法的整体架构包括双摄像头系统、交叉摄像头互模板策略（CMT）和Mamba运动引导预测头（MMH）。双摄像头系统用于捕捉内窥镜的实时图像，CMT用于处理不同摄像头间的跟踪一致性，而MMH则用于结合历史运动信息进行预测。
关键创新：最重要的技术创新在于提出了动态瞬态互模板策略和Mamba运动引导预测头，这两者有效解决了大遮挡和光照失真问题，使得跟踪精度显著提高。
关键设计：在设计中，采用了特定的损失函数来优化跟踪精度，并通过调整模板更新策略来适应动态环境。此外，网络结构经过优化，以提高对复杂场景的适应能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的运动引导双摄像头跟踪器在平均误差和最大误差上分别比第二好的方法提高了42%和72%。此外，该跟踪器在不同水平的内窥镜操作者之间的运动分析中表现出更高的可靠性，能够更好地区分操作者的专业水平。
🎯 应用场景
该研究的潜在应用领域包括医学培训、内窥镜手术模拟和机器人手术等。通过提供更准确的内窥镜运动跟踪，该技术能够提升内窥镜培训的有效性，并为未来的手术机器人系统提供支持，具有重要的实际价值和影响。
📄 摘要（原文）
Flexible endoscope motion tracking and analysis in mechanical simulators have proven useful for endoscopy training. Common motion tracking methods based on electromagnetic tracker are however limited by their high cost and material susceptibility. In this work, the motion-guided dual-camera vision tracker is proposed to provide robust and accurate tracking of the endoscope tip's 3D position. The tracker addresses several unique challenges of tracking flexible endoscope tip inside a dynamic, life-sized mechanical simulator. To address the appearance variation and keep dual-camera tracking consistency, the cross-camera mutual template strategy (CMT) is proposed by introducing dynamic transient mutual templates. To alleviate large occlusion and light-induced distortion, the Mamba-based motion-guided prediction head (MMH) is presented to aggregate historical motion with visual tracking. The proposed tracker achieves superior performance against state-of-the-art vision trackers, achieving 42% and 72% improvements against the second-best method in average error and maximum error. Further motion analysis involving novice and expert endoscopists also shows that the tip 3D motion provided by the proposed tracker enables more reliable motion analysis and more substantial differentiation between different expertise levels, compared with other trackers. Project page: https://github.com/PieceZhang/MotionDCTrack