iMED: A Multi-Endoscope Dataset for Surgical 3D Perception

📄 arXiv: 2611.04755v1 📥 PDF

作者: Sierra Bonilla, Fengyi Jiang, Chinedu Nwoye, Jingpei Lu, Kailey Reardon, Humphrey W. Chow, Francisco Vasconcelos, Sophia Bano, Adam Schmidt, Omid Mohareri

分类: cs.CV, cs.RO

发布日期: 2026-11-03

备注: Published at ECCV 2026. 25 pages, including supplementary material. Code and dataset: https://github.com/surgical-vision/imed

期刊: Computer Vision - ECCV 2026, LNCS 17078, pp. 313-332, Springer, 2026

DOI: 10.1007/978-3-032-37393-9_19

💡 一句话要点

提出iMED数据集以解决外科手术视觉基准中的视角限制问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外科手术 数据集 几何泛化 视觉系统 机器人技术 深度学习 多视角 图像分析

📋 核心要点

  1. 现有外科手术数据集仅捕捉单一内窥镜的轨迹，无法有效评估几何泛化能力。
  2. iMED数据集通过同步记录两个立体内窥镜的数据，提供多视角的外科手术图像，解决了现有数据集的局限性。
  3. 实验结果表明，依赖光度监督的方法在新设置下性能下降，而具有几何正则化的方法表现更为稳定，且大规模基础模型在外科图像上表现优于领域特定模型。

📝 摘要（中文）

我们介绍了iMED，这是首个同步的多内窥镜数据集，旨在解决机器人辅助微创手术（RAMIS）中的外科视觉基准问题，特别是缺乏独立的持出视点。现有外科数据集仅捕捉单一内窥镜的单轨迹序列，无法区分几何泛化与光度插值。iMED提供了340个序列（约17万同步时间点），从两个独立的立体内窥镜同时记录，涵盖了多种解剖区域和运动模式。数据集包括标定的相机内参、基于ArUco的帧级位姿估计及不确定性量化、器械分割掩膜和丰富的临床元数据。通过在一个内窥镜上训练、在另一个上测试的评估协议，我们对23种最先进的方法进行了基准测试，结果显示依赖光度监督的方法在持出内窥镜设置下性能显著下降，而具有显式几何正则化的方法在我们的基准测试中更具鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决现有外科手术视觉基准中缺乏独立持出视点的问题。现有方法通常仅使用单一内窥镜的单轨迹数据，无法有效评估模型的几何泛化能力与光度插值的区别。

核心思路：论文提出了iMED数据集，通过同时记录两个独立的立体内窥镜的数据，提供多视角的外科手术图像，进而建立新的评估协议以测试几何泛化能力。

技术框架：iMED数据集包含340个序列，约17万同步时间点，记录了多种解剖区域和运动模式。数据集提供了标定的相机内参、帧级位姿估计、器械分割掩膜和临床元数据。评估采用在一个内窥镜上训练、在另一个上测试的协议。

关键创新：iMED数据集的最大创新在于其提供了多视角的同步数据，允许研究者评估几何泛化能力，而不仅仅是光度插值。这一设计使得模型在不同视角下的表现得以被更全面地评估。

关键设计：数据集中包含的相机内参经过精确标定，使用ArUco标记进行帧级位姿估计，并量化不确定性。此外，器械分割掩膜的设计使得模型在处理复杂场景时更具鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，依赖光度监督的23种最先进方法在持出内窥镜设置下性能显著下降，而具有几何正则化的方法表现更为稳定。大规模基础模型在外科图像上的迁移效果优于领域特定模型，显示出当前微调协议的潜在不足。

🎯 应用场景

iMED数据集的潜在应用领域包括机器人辅助微创手术的视觉系统开发、外科手术图像分析以及相关的机器学习模型训练。通过提供多视角数据，该数据集能够帮助研究者更好地理解和提升外科视觉系统的性能，推动手术机器人技术的发展。

📄 摘要（原文）

We introduce iMED, the first synchronized multi-endoscope dataset for robot-assisted minimally invasive surgery (RAMIS), designed to address a fundamental limitation in surgical vision benchmarking: the absence of independent held-out viewpoints. Existing surgical datasets capture single-trajectory sequences from a single endoscope, making it impossible to distinguish geometric generalization from photometric interpolation along a narrow forward-facing path. iMED provides 340 sequences ~170K synchronized timepoints with 4 views per timepoint) recorded simultaneously from two independent stereo endoscopes across ex vivo, postmortem, and live surgical settings, spanning 14 specimens with diverse anatomical regions and motion regimes. The dataset includes calibrated camera intrinsics, ArUco-based frame-wise pose estimates with uncertainty quantification, instrument segmentation masks, and rich clinical metadata. Using a train-on-one-endoscope, test-on-another evaluation protocol, we benchmark 23 state-of-the-art methods across rigid and deformable novel view synthesis, pose estimation, feature matching, and monocular depth estimation. Our experiments show that methods relying primarily on photometric supervision degrade substantially under this held-out-endoscope setting, while methods with explicit geometric regularization are more robust across views in our benchmark. Notably, large-scale foundation models transfer surprisingly well to surgical imagery, often outperforming domain-specific models, suggesting pitfalls in current fine-tuning protocols. iMED establishes a new evaluation protocol for geometric generalization in surgical vision.