General surgery vision transformer: A video pre-trained foundation model for general surgery

📄 arXiv: 2403.05949v3 📥 PDF

作者: Samuel Schmidgall, Ji Woong Kim, Jeffrey Jopling, Axel Krieger

分类: cs.CV, cs.LG, q-bio.TO

发布日期: 2024-03-09 (更新: 2024-04-12)

💡 一句话要点

提出通用外科视觉变换器以解决外科数据匮乏问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外科视频分析 视觉变换器 视频预训练 手术辅助系统 深度学习

📋 核心要点

  1. 现有的外科手术视频数据稀缺，缺乏专门的基础模型，限制了计算研究的进展。
  2. 本文提出了一种基于前向视频预测的GSViT模型，能够在外科手术视频上进行实时预训练。
  3. GSViT在Cholec80阶段注释任务中表现优异，超越了当前最先进的单帧预测器，显示出显著的性能提升。

📝 摘要（中文）

缺乏公开可用的数据和专门的基础模型是外科计算研究的一大障碍。为此，本文开源了迄今为止最大的通用外科视频数据集，包含680小时的手术视频，涵盖28种手术的机器人和腹腔镜技术；提出了一种基于前向视频预测的通用外科视觉变换器（GSViT）视频预训练技术，能够实时运行于外科应用；还发布了针对10种手术的特定微调版本的代码和权重；最后，在Cholec80阶段注释任务上展示了GSViT的性能，显示出相较于现有单帧预测器的显著提升。

🔬 方法详解

问题定义：本文旨在解决外科手术领域中缺乏公开数据和专门模型的问题。现有方法在数据获取和模型训练方面存在显著不足，限制了外科计算研究的深入发展。

核心思路：论文提出了一种基于前向视频预测的GSViT模型，通过在大量手术视频上进行预训练，提升模型对外科手术场景的理解能力，旨在实现实时应用。

技术框架：GSViT的整体架构包括视频输入模块、前向预测模块和输出预测模块。模型首先接收手术视频数据，通过前向预测生成未来帧，然后进行训练以优化预测精度。

关键创新：GSViT的最大创新在于其视频预训练策略，利用大量手术视频进行训练，使得模型能够捕捉到手术过程中的动态变化，与传统的单帧预测方法相比，具备更强的时序理解能力。

关键设计：在模型设计中，采用了特定的损失函数以优化视频预测的准确性，并在网络结构上进行了调整，以适应长视频输入的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Cholec80阶段注释任务中，GSViT的表现显著优于现有的单帧预测器，具体提升幅度达到XX%（具体数据未知），展示了其在处理复杂手术视频时的强大能力和潜力。

🎯 应用场景

该研究的潜在应用领域包括外科手术辅助系统、手术培训和手术过程分析等。通过提供高效的视觉理解模型，能够帮助外科医生在手术中做出更快速的决策，提高手术安全性和成功率。未来，该模型还可以扩展到其他医疗领域，推动医疗人工智能的发展。

📄 摘要（原文）

The absence of openly accessible data and specialized foundation models is a major barrier for computational research in surgery. Toward this, (i) we open-source the largest dataset of general surgery videos to-date, consisting of 680 hours of surgical videos, including data from robotic and laparoscopic techniques across 28 procedures; (ii) we propose a technique for video pre-training a general surgery vision transformer (GSViT) on surgical videos based on forward video prediction that can run in real-time for surgical applications, toward which we open-source the code and weights of GSViT; (iii) we also release code and weights for procedure-specific fine-tuned versions of GSViT across 10 procedures; (iv) we demonstrate the performance of GSViT on the Cholec80 phase annotation task, displaying improved performance over state-of-the-art single frame predictors.