Neural Fields for 3D Tracking of Anatomy and Surgical Instruments in Monocular Laparoscopic Video Clips
作者: Beerend G. A. Gerats, Jelmer M. Wolterink, Seb P. Mol, Ivo A. M. J. Broeders
分类: cs.CV
发布日期: 2024-03-28
💡 一句话要点
提出神经场方法以实现单目腹腔镜视频中的解剖结构与手术器械的联合跟踪
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 腹腔镜视频 3D跟踪 神经场 手术器械 解剖结构 深度估计 联合跟踪
📋 核心要点
- 现有的腹腔镜视频跟踪方法通常将手术器械和解剖结构视为两个独立的问题，导致跟踪精度不足。
- 本文提出了一种基于神经场的联合跟踪方法，能够在单个2D视频片段中同时跟踪所有结构，提升了跟踪的准确性。
- 在腹腔镜胆囊切除术的视频片段中，解剖结构和手术器械的平均跟踪精度分别达到了92.4%和87.4%。
📝 摘要（中文）
腹腔镜视频跟踪主要关注手术器械和解剖结构两类目标。手术器械用于技能评估，而解剖结构则是虚拟覆盖投影的必要条件。本文提出了一种方法，能够同时对所有结构进行联合跟踪。基于单个2D单目视频片段，我们训练了一个神经场来表示连续的时空场景，从而创建所有在至少一帧中可见的表面的3D轨迹。为了提高手术器械的跟踪精度，我们提出了增强的类别加权。实验结果显示，解剖结构的平均跟踪精度为92.4%，手术器械为87.4%。此外，我们还评估了方法重建场景所获得的深度图质量，结果表明这些伪深度图的质量与最先进的预训练深度估计器相当。
🔬 方法详解
问题定义：本文旨在解决腹腔镜视频中手术器械与解剖结构的联合跟踪问题。现有方法通常将这两者分开处理，导致对小型手术器械的跟踪精度不足。
核心思路：论文提出了一种基于神经场的模型，通过训练来表示连续的时空场景，从而实现对所有可见表面的3D轨迹的联合跟踪。该方法利用单个2D视频片段，克服了传统方法的局限性。
技术框架：整体架构包括数据预处理、神经场训练和3D轨迹生成三个主要模块。数据预处理阶段负责提取视频帧和标注信息，神经场训练阶段通过优化损失函数来学习场景表示，最后生成3D轨迹。
关键创新：最重要的技术创新在于提出了增强的类别加权策略，以提高对手术器械的跟踪精度。这一策略使得模型能够更好地处理小型目标的跟踪问题。
关键设计：在训练过程中，采用了特定的损失函数来平衡解剖结构与手术器械的跟踪精度。此外，网络结构设计上考虑了时空信息的连续性，以提高重建效果。具体参数设置和网络架构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，解剖结构的平均跟踪精度达到92.4%，手术器械的精度为87.4%。在SCARED数据集上，方法预测的深度图具有2.9毫米的平均绝对误差（MAE）和9.2%的相对误差，显示出与最先进的深度估计器相当的性能。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在医疗手术中，能够为外科医生提供实时的解剖结构和器械跟踪信息，提升手术的安全性和效率。此外，未来可扩展至其他类型的手术视频分析和机器人手术系统中。
📄 摘要（原文）
Laparoscopic video tracking primarily focuses on two target types: surgical instruments and anatomy. The former could be used for skill assessment, while the latter is necessary for the projection of virtual overlays. Where instrument and anatomy tracking have often been considered two separate problems, in this paper, we propose a method for joint tracking of all structures simultaneously. Based on a single 2D monocular video clip, we train a neural field to represent a continuous spatiotemporal scene, used to create 3D tracks of all surfaces visible in at least one frame. Due to the small size of instruments, they generally cover a small part of the image only, resulting in decreased tracking accuracy. Therefore, we propose enhanced class weighting to improve the instrument tracks. We evaluate tracking on video clips from laparoscopic cholecystectomies, where we find mean tracking accuracies of 92.4% for anatomical structures and 87.4% for instruments. Additionally, we assess the quality of depth maps obtained from the method's scene reconstructions. We show that these pseudo-depths have comparable quality to a state-of-the-art pre-trained depth estimator. On laparoscopic videos in the SCARED dataset, the method predicts depth with an MAE of 2.9 mm and a relative error of 9.2%. These results show the feasibility of using neural fields for monocular 3D reconstruction of laparoscopic scenes.