OR-Action: Multi-Role Video Understanding with Fine-Grained Actions
作者: Felix Tristram, Ege Özsoy, Christian Benz, Marcel Walch, Ghazal Ghazaei, Nassir Navab
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出OR-Action以解决手术室活动细粒度理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 手术室活动理解 细粒度动作识别 时间建模 图神经网络 多角色动作分类
📋 核心要点
- 现有的手术室活动理解方法在处理时间结构时存在不足，难以有效建模细粒度动作。
- 本文提出了一种以动作为中心的基准，结合细粒度多角色动作分类法和密集动作段生成，解决了时间建模问题。
- 实验结果显示，提出的视觉时间模型在多角色动作识别上显著优于传统的图神经网络方法。
📝 摘要（中文）
手术室活动的细粒度理解能够实现基于工作流的智能辅助，但由于环境杂乱、遮挡和感知限制，这一任务仍然具有挑战性。现有方法主要依赖场景图作为手术室交互的可解释表示，但在将帧级关系预测转化为时间延续的细粒度动作时缺乏明确的时间建模。为此，本文提出了第一个基于公开可用的自我-外部手术室数据集的以动作为中心的基准，定义了细粒度的多角色动作分类法，并通过从真实场景图状态变化中蒸馏生成密集动作段。实验表明，现有的场景图预测方法在建模时间结构方面存在困难，尽管通过图神经网络增加了显式建模。我们还提出了一种仅基于视觉的时间模型，在使用所有可用的自我中心视频作为输入时显著优于基于图的方法。
🔬 方法详解
问题定义：本文旨在解决手术室活动的细粒度理解问题，现有方法在时间结构建模上存在不足，难以将帧级关系转化为时间延续的动作。
核心思路：论文提出了一种以动作为中心的基准，通过定义细粒度的多角色动作分类法，并从真实场景图状态变化中蒸馏生成密集动作段，以实现有效的时间建模。
技术框架：整体架构包括数据集构建、动作分类法定义、密集动作段生成和时间模型设计等主要模块。通过这些模块，能够实现对手术室活动的全面理解。
关键创新：最重要的技术创新在于提出了一种仅基于视觉的时间模型，该模型在处理多角色动作识别时显著优于传统的图神经网络方法，解决了时间建模的挑战。
关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化动作识别的准确性，并通过多视图特征对齐策略提升单视图性能，减少了对大量自我中心视频捕获的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的视觉时间模型在多角色动作识别任务中，相较于基于图的方法，性能提升显著，具体提升幅度未知。该模型在使用所有可用的自我中心视频作为输入时，展现出更强的时间建模能力。
🎯 应用场景
该研究的潜在应用领域包括手术室的智能辅助系统、医疗培训和手术过程监控等。通过实现对手术室活动的细粒度理解，能够提升医疗工作流的效率和安全性，未来可能对医疗行业产生深远影响。
📄 摘要（原文）
Fine-grained understanding of operating room (OR) activity could enable workflow-aware assistance, yet remains difficult due to clutter, occlusions, and limited sensing. The prevailing approach to model this environment is scene graphs as an interpretable representation of OR interactions. Converting their frame-wise relational predictions into temporally extended, fine-grained actions however, is challenging without explicit temporal modeling. To enable a principled temporal evaluation of current OR understanding methods, we introduce the first action-centric benchmark built on a publicly available ego-exocentric OR dataset by defining a fine-grained, multi-role action taxonomy and generating dense action segments via distillation from ground-truth scene graph state changes. Experiments on this benchmark show that current scene graph prediction methods struggle to model temporal structure, even when adding explicit modeling through Graph Neural Networks. We therefore introduce a vision-only temporal model that outperforms graph-based methods significantly when using all available egocentric video as input. Building on this model we also introduce a novel multi- to single-view feature alignment strategy that improves single-view performance on multi-role action recognition, mitigating the need for extensive egocentric video capture. Benchmark and code will be released upon acceptance.