Exploring Optical Flow Inclusion into nnU-Net Framework for Surgical Instrument Segmentation

📄 arXiv: 2403.10216v1 📥 PDF

作者: Marcos Fernández-Rodríguez, Bruno Silva, Sandro Queirós, Helena R. Torres, Bruno Oliveira, Pedro Morais, Lukas R. Buschle, Jorge Correia-Pinto, Estevão Lima, João L. Vilaça

分类: cs.CV, cs.AI

发布日期: 2024-03-15

期刊: Proceedings Volume 12928, Medical Imaging 2024: Image-Guided Procedures, Robotic Interventions, and Modeling; 1292827 (2024)

DOI: 10.1117/12.3006855

💡 一句话要点

将光流信息引入nnU-Net框架以提升外科器械分割精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 外科器械分割 光流 nnU-Net 深度学习 动态场景 计算机辅助外科 医疗图像分析

📋 核心要点

  1. 现有的nnU-Net框架在处理腹腔镜手术中的动态场景时，缺乏时间信息，导致分割精度不足。
  2. 本文提出将光流图作为nnU-Net的额外输入，以间接引入时间信息，从而提升外科器械的分割性能。
  3. 实验结果显示，使用光流图后，对高运动类的检测能力显著提高，尤其是在数据集中这些类较为稀缺的情况下。

📝 摘要（中文）

外科器械分割在腹腔镜手术中对计算机辅助外科系统至关重要。尽管深度学习近年来取得了显著进展，但腹腔镜手术的动态环境仍然给精确分割带来了挑战。nnU-Net框架在分析单帧图像时表现出色，但缺乏时间信息。本文旨在将光流图作为额外输入，以改善nnU-Net在外科器械分割任务中的性能，利用器械在手术场景中的主要运动特性。通过使用CholecSeg8k数据集，评估了三种不同的运动表示，并与基线模型进行了比较，结果表明光流图的使用显著提高了高运动类的检测能力。

🔬 方法详解

问题定义：本文旨在解决腹腔镜手术中外科器械分割的精度问题，现有的nnU-Net框架在动态场景下缺乏时间信息，导致分割效果不佳。

核心思路：通过将光流图作为额外输入，利用器械在手术过程中的运动特性，间接引入时间信息，从而提升分割性能。

技术框架：研究采用nnU-Net框架，新增光流图输入。整体流程包括光流图的计算、与原始图像的结合、以及通过nnU-Net进行分割。

关键创新：最重要的创新在于将光流信息有效整合进nnU-Net框架，而不需对其架构进行修改，这与传统方法的直接时间序列分析形成鲜明对比。

关键设计：在实验中，使用CholecSeg8k数据集，评估了三种不同的光流表示，采用标准的交叉熵损失函数，保持了nnU-Net的原有网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用光流图后，外科器械的检测精度显著提高，尤其是在高运动类的检测上，提升幅度超过了基线模型，显示出光流信息在动态场景下的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机辅助外科手术、医疗图像分析和机器人手术系统。通过提高外科器械的分割精度，可以增强手术的安全性和效率，未来可能推动智能手术系统的发展。

📄 摘要（原文）

Surgical instrument segmentation in laparoscopy is essential for computer-assisted surgical systems. Despite the Deep Learning progress in recent years, the dynamic setting of laparoscopic surgery still presents challenges for precise segmentation. The nnU-Net framework excelled in semantic segmentation analyzing single frames without temporal information. The framework's ease of use, including its ability to be automatically configured, and its low expertise requirements, have made it a popular base framework for comparisons. Optical flow (OF) is a tool commonly used in video tasks to estimate motion and represent it in a single frame, containing temporal information. This work seeks to employ OF maps as an additional input to the nnU-Net architecture to improve its performance in the surgical instrument segmentation task, taking advantage of the fact that instruments are the main moving objects in the surgical field. With this new input, the temporal component would be indirectly added without modifying the architecture. Using CholecSeg8k dataset, three different representations of movement were estimated and used as new inputs, comparing them with a baseline model. Results showed that the use of OF maps improves the detection of classes with high movement, even when these are scarce in the dataset. To further improve performance, future work may focus on implementing other OF-preserving augmentations.