Optimize Surgical Triplet Recognition: A Knowledge-Driven Mixture-of-Experts Solution
作者: Yiyi Zhang, Yuchen Yuan, Ying Zheng, Jialun Pei, Jinpeng Li, Zheng Li, Pheng-Ann Heng
分类: cs.CV
发布日期: 2026-08-24
备注: Accepted in TMI
💡 一句话要点
提出知识驱动的专家混合框架以优化外科三元组识别
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 外科动作识别 知识驱动 混合专家 协同优化 机器人手术 多模态学习 数据不平衡 特征解耦
📋 核心要点
- 现有方法在外科动作三元组识别中面临组件级和类别级优化冲突，导致性能不足。
- 提出的MoeCo框架通过组件定制适配器和协调梯度学习策略解决优化冲突，并引入知识驱动的专家机制。
- 在CholecT45和CholecT50数据集上的实验结果显示，MoeCo框架显著提升了识别性能，验证了其有效性。
📝 摘要（中文）
外科动作三元组识别是机器人辅助外科手术中的关键任务，通过识别工具、动词、目标及其关联，促进自动化手术动作感知。然而，现有方法在分析复杂外科场景时面临三大挑战：特征空间纠缠导致的组件级优化冲突、严重数据不平衡引起的类别级优化冲突，以及缺乏领域知识指导限制模型的可解释性和鲁棒性。为了解决这些问题，本文提出了一种知识驱动的混合专家协同优化框架（MoeCo）。该框架通过组件定制适配器和协调梯度学习策略来缓解优化冲突，并引入动态集成多模态大语言模型指导知识的专家机制，增强了协同优化管道的表现力和鲁棒性。大量实验验证了该框架的有效性和动态先验集成的优越性。
🔬 方法详解
问题定义：本文旨在解决外科动作三元组识别中的组件级和类别级优化冲突。现有方法由于特征空间纠缠和数据不平衡，导致模型性能不足，缺乏领域知识的指导也限制了模型的可解释性和鲁棒性。
核心思路：提出的MoeCo框架通过知识驱动的学习方式，结合组件定制适配器和协调梯度学习策略，旨在有效分离任务特征并增强对稀有类别的感知能力。
技术框架：MoeCo框架包括三个主要模块：组件定制适配器用于特征解耦，协调梯度学习策略用于类别平衡，以及知识驱动的专家机制用于动态集成多模态知识。
关键创新：最重要的创新在于引入知识驱动的混合专家机制，通过激活专家动态整合多模态知识，增强了模型的表现力和鲁棒性，这与现有方法的静态特征提取方式有本质区别。
关键设计：在模型设计中，采用了特定的损失函数来平衡正负样本梯度，并设计了适配器结构以适应不同的空间-时间特征，确保了模型的高效训练和优化。
🖼️ 关键图片
📊 实验亮点
在CholecT45和CholecT50数据集上的实验结果表明，MoeCo框架在外科动作三元组识别任务中显著优于现有基线方法，识别精度提升幅度达到XX%（具体数据待补充），验证了动态先验集成的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人辅助外科手术、医疗影像分析和智能手术系统等。通过提高外科动作识别的准确性和鲁棒性，能够促进手术过程的自动化和智能化，提升手术安全性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Surgical action triplet recognition constitutes a critical task in context-aware robot-assisted surgery, facilitating automatic surgical action perception by identifying instrument, verb, target, and their association. However, existing works struggle to analyze such complex surgical scenes due to three main issues: (1) component-level optimization conflicts caused by entangled feature spaces, (2) category-level optimization conflicts arising from severe data imbalance, and (3) lack of domain knowledge guidance that limits model interpretability and robustness. To address these challenges, we propose a Mixture-of-Experts-guided Co-Optimization (\textit{MoeCo}) framework powered by knowledge-driven learning. Within the co-optimization pipeline, to first mitigate component-level conflicts, we introduce a component-tailored adapter that disentangles task-specific features across spatial-temporal regimes, facilitating effective component specialization. Next, we develop a coordinated gradient learning strategy to handle category-level conflicts, which adaptively rebalances positive-negative gradients to enhance the perception of rare categories. Notably, inspired by surgical domain expertise, we introduce a knowledge-driven mixture-of-experts mechanism that dynamically integrates multimodal large language model-guided knowledge via activated experts, thereby enriching the co-optimization pipeline with more expressive and robust representations. Extensive experiments on the public CholecT45 and CholecT50 datasets confirm the effectiveness of the proposed co-optimization pipeline and the superiority of dynamic priors integration via the knowledge-driven mixture-of-experts mechanism.