Multimodal Shared Latent Representation of Narration, Microscope and iOCT Images for Phase Recognition in Vitreoretinal Surgery

📄 arXiv: 2608.31065v1 📥 PDF

作者: Onur Izmitlioglu, Shervin Dehghani, Tarek Ghannoum, Benedikt Schworm, Nassir Navab

分类: cs.CV

发布日期: 2026-08-31

💡 一句话要点

提出多模态共享潜在表示以解决玻璃体视网膜手术阶段识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 手术阶段识别 显微镜视图 术中OCT 对比学习 深度学习 计算机辅助外科

📋 核心要点

  1. 现有方法主要依赖于同步的多模态数据，导致在手术阶段识别中面临数据稀缺的问题。
  2. 本文提出的框架通过显微镜视图作为锚点，连接手术叙述与iOCT，避免了对完全同步数据集的依赖。
  3. 在真实手术评估中，框架在宏观阶段识别上从零样本基线的平均F1值0.38提升至0.53，展示了良好的效果。

📝 摘要（中文）

手术阶段识别是玻璃体视网膜手术中实现上下文感知计算机辅助反馈的关键，但同步的多模态术中数据稀缺，尤其是显微镜视图和术中OCT（iOCT），限制了自然整合多模态信息的研究。相较之下，手术叙述在网上丰富可得，提供了丰富的语义监督。本文提出了一种框架，利用显微镜视图作为共享锚点，将手术叙述与iOCT连接，而无需完全同步的三模态数据集。通过对真实显微镜-叙述视频和合成的显微镜视频与工具对齐的iOCT对进行对比对齐，转移结构先验，最终在真实的玻璃体视网膜手术中实现了宏观阶段识别的显著提升。

🔬 方法详解

问题定义：本文旨在解决玻璃体视网膜手术中的阶段识别问题，现有方法因缺乏同步的多模态数据而受到限制，难以有效整合显微镜视图、iOCT和手术叙述。

核心思路：提出一种新框架，通过显微镜视图作为共享锚点，将手术叙述与iOCT连接，利用真实和合成数据的对比学习，增强模型的多模态整合能力。

技术框架：整体架构包括显微镜视图、手术叙述和iOCT的联合建模，采用对比对齐技术将合成数据的结构先验转移到真实视频中，使用双头MS-TCN++进行宏观和微观阶段的联合预测。

关键创新：首次将显微镜视图、iOCT B扫描和手术叙述统一在共享潜在空间中进行阶段识别，突破了以往仅进行成对对比学习的局限。

关键设计：采用对比损失函数进行对齐，设计双头网络结构以处理宏观和微观阶段预测，确保模型在不同数据源间的有效迁移与整合。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，提出的框架在真实玻璃体视网膜手术中的宏观阶段识别性能显著提升，平均F1值从0.38提升至0.53，展示了对比学习在多模态数据整合中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，能够为玻璃体视网膜手术提供实时的阶段识别和反馈，提升手术的安全性和效率。未来，该框架还可扩展至其他类型的外科手术，推动智能手术系统的发展。

📄 摘要（原文）

Surgical phase recognition is key to context-aware computer-assisted feedback in vitreoretinal procedures, yet the scarcity of synchronized multimodal intraoperative data, particularly microscope views and intraoperative OCT, limits approaches that aim to replicate the multimodal integration surgeons perform naturally. Surgical narration, by contrast, is abundantly available online and offers rich semantic supervision. Prior work has mainly explored pairwise contrastive learning (e.g., intraoperative OCT-microscope or microscope-narration), leaving the joint modeling of all three modalities largely unexplored. We introduce a framework that uses microscope views as a shared anchor to bridge surgical narrations and intraoperative OCT (iOCT) without requiring a fully synchronized tri-modal dataset, leveraging real microscope-narration videos and a synthetic dataset of synchronized microscope video and tool-aligned iOCT pairs. Contrastive alignment transfers structural priors from the synthetic domain to real videos lacking iOCT, and a dual-head MS-TCN++ integrates the resulting embeddings for joint macro- and micro-phase prediction. Evaluated on real vitreoretinal surgeries, our framework improves macro-phase recognition over a zero-shot baseline (mean F1 0.38 to 0.53) and provides an exploratory route to estimating fine-grained instrument-tissue measurements that are not directly observable in real microscope video alone; these micro-phase estimates are validated quantitatively on synthetic data and shown only qualitatively on real surgery. To our knowledge, this is the first work to unify microscope view, iOCT B-scans, and surgical narrations in a shared latent space for surgical phase recognition.