SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery

📄 arXiv: 2606.25905v1 📥 PDF

作者: Filippos Bellos, Andre S. Gala-Garza, Miaowei Wang, Alyssa M. Hardin, Ahmad M. Hider, Yayuan Li, Jing Bi, Susan Liang, Chenliang Xu, Donald S. Likosky, Jason J. Corso

分类: cs.CV

发布日期: 2026-06-24

💡 一句话要点

提出SurgAtlas数据集以推动外科视频语言理解研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外科视频理解 视频语言数据集 开放手术 微创手术 多模态学习 推理问答 数据注释 基础模型

📋 核心要点

  1. 现有的外科视频语言数据集缺乏规模和多样性，难以支持全面的手术理解研究。
  2. SurgAtlas通过整合开放手术和微创手术视频，构建了一个大规模且多样化的外科视频语言数据集，提供丰富的注释信息。
  3. 在多个外科基准测试中，SurgAtlas通过微调Qwen3-VL-8B模型，取得了竞争性或最先进的结果，展示了其有效性。

📝 摘要（中文）

我们介绍了SurgAtlas，这是迄今为止最大的外科视频语言数据集，包含15,291个视频（2,391小时），涵盖18个外科专业和超过5,000种手术类型，全部来自公开的YouTube内容。SurgAtlas首次大规模包含开放手术视频，提供6,182个开放手术视频和超过9,000个微创手术记录，并建立了开放手术视频理解的标准化基准。此外，我们提供了经过专家验证的子集，包含多种开放和微创手术的视觉问答对，作为外科推理的临床基准。与现有数据集相比，SurgAtlas提供了多样化的注释方案，结合了分段级标题、步骤和阶段描述、视频级外科描述以及组织在层次分类中的推理问答对。

🔬 方法详解

问题定义：本论文旨在解决现有外科视频语言数据集在规模和多样性上的不足，尤其是在开放手术视频的缺乏问题。现有方法无法提供足够的临床背景和推理能力。

核心思路：SurgAtlas通过从YouTube收集大量开放和微创手术视频，结合多样化的注释方案，构建了一个全面的外科视频语言数据集，以支持外科推理和理解的研究。

技术框架：整体架构包括数据收集、注释生成和模型训练三个主要模块。数据收集阶段从YouTube获取视频，注释生成阶段采用自动化的多层次管道进行注释，最后通过微调模型进行训练。

关键创新：SurgAtlas的最大创新在于其规模和多样性，首次建立了开放手术视频理解的标准化基准，并提供了丰富的分层注释信息，支持多种推理任务。

关键设计：在注释生成中，采用了基于大型语言模型的增强技术和分阶段的视觉问答生成框架，确保注释的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个外科基准测试中，SurgAtlas通过微调Qwen3-VL-8B模型，取得了竞争性或最先进的结果，特别是在阶段识别、三元组检测和推理问答方面，展示了显著的性能提升。

🎯 应用场景

SurgAtlas的数据集具有广泛的应用潜力，可以用于训练多模态外科人工智能系统，推动外科手术理解和推理的研究。未来，该数据集可能为新一代外科基础模型的开发提供支持，促进外科教育和临床决策的智能化。

📄 摘要（原文）

We introduce SurgAtlas, the largest surgical video-language dataset to date, comprising 15,291 videos (2,391 hours) spanning 18 surgical specialties and over 5,000 procedure types, sourced entirely from publicly available YouTube content. SurgAtlas is also the first surgical video-language dataset to include open surgery at scale, with 6,182 open procedure videos alongside over 9,000 minimally invasive recordings, and the first to establish standardized benchmarks for open-surgery video understanding. We additionally provide an expert-validated subset with verified visual question-answer pairs across diverse open and minimally invasive procedures, serving as a clinically grounded benchmark for surgical reasoning. Compared with existing surgical video-language datasets, SurgAtlas provides one of the most diverse annotation schemas, combining segment-level captions, step- and phase-level descriptions, video-level surgical descriptions, and reasoning-oriented question-answer pairs organized within a hierarchical taxonomy. These annotations are constructed through an automated multi-tier pipeline with LLM-based enrichment and a staged VQA generation framework with explicit groundedness verification. The scale and diversity of SurgAtlas enable training surgical foundation models with broad procedural coverage: we finetune Qwen3-VL-8B through a two-stage captioning-then-instruction pipeline and achieve competitive or state-of-the-art results on multiple established surgical benchmarks, including phase recognition, triplet detection, and reasoning question answering. More broadly, SurgAtlas provides a large native public video corpus that can support future large-scale pretraining of multimodal surgical AI systems and contribute to the development of next-generation foundation models for surgery.