SurgPace: Complexity-Aware Progressive Distillation for Surgical Multimodal Large Language Models
作者: Zhicheng He, Xiaohan Xing, Hongqiu Wang, Kun Yuan, Guankun Wang, Yanheng Li, Haoxuan Che, Nassir Navab, Hongliang Ren, Long Bai
分类: cs.CV
发布日期: 2026-11-02
备注: 21 pages, 4 figures, Accepted by Medical Image Analysis
🔗 代码/项目: GITHUB
💡 一句话要点
提出SurgPace以解决外科多模态大语言模型的蒸馏挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 知识蒸馏 外科机器人 复杂度感知 渐进蒸馏 临床应用 模型优化
📋 核心要点
- 现有的知识蒸馏方法在处理外科数据时面临样本复杂度差异大、教师指导不稳定等挑战。
- SurgPace通过复杂度感知的连续课程框架，结合预测置信度和洛伦兹几何一致性，引导训练过程。
- 在Surg-396K基准测试中，SurgPace显著优于现有的蒸馏基线，展示了其在效率和性能上的提升。
📝 摘要（中文）
多模态大语言模型（MLLMs）在机器人手术中展现出强大的潜力，但其高计算成本限制了临床应用。知识蒸馏为构建紧凑的外科MLLMs提供了可行的方法，但直接蒸馏不适合外科数据，因为手术样本在难度、视觉模糊和临床背景上差异很大，导致教师-学生传递不稳定。为了解决这些挑战，本文提出了SurgPace，一个复杂度感知的渐进蒸馏框架，能够引导从简单到困难的训练过程。实验表明，SurgPace在Surg-396K基准上持续超越强大的MLLM蒸馏基线，证明了其在构建紧凑、内存高效的外科MLLMs方面的有效性。
🔬 方法详解
问题定义：本文旨在解决外科多模态大语言模型在知识蒸馏过程中面临的样本复杂度差异和教师指导不稳定的问题。现有方法无法有效处理手术数据的多样性，导致蒸馏效果不佳。
核心思路：SurgPace提出了一种复杂度感知的渐进蒸馏框架，通过评估样本复杂度来引导训练过程，从而实现更稳定的教师-学生模型传递。该方法在训练初期强调教师指导，而在后期则更多依赖任务监督。
技术框架：SurgPace的整体架构包括样本复杂度评估、连续的简单到困难的训练过程以及分层表示对齐。主要模块包括复杂度估计、教师-学生对齐和任务监督。
关键创新：SurgPace的创新在于将样本级课程与目标级调度分离，使得蒸馏过程更加稳定和有效。这种设计允许模型在不同训练阶段灵活调整关注点。
关键设计：在技术细节上，SurgPace使用预测置信度和洛伦兹几何一致性来评估样本复杂度，并在特征、对数和概率层面上进行分层对齐，确保教师与学生模型的有效协同。损失函数和网络结构的设计也经过精心调整，以适应外科数据的特点。
🖼️ 关键图片
📊 实验亮点
在Surg-396K基准测试中，SurgPace在蒸馏性能上显著超越了多个强基线，具体表现为在内存效率和解码速度上均有明显提升，证明了其在实际应用中的有效性和优势。
🎯 应用场景
SurgPace的研究成果在机器人手术、医学影像分析和临床决策支持等领域具有广泛的应用潜力。通过构建高效的外科多模态大语言模型，能够提升手术过程中的智能辅助能力，进而改善患者的治疗效果和手术安全性。
📄 摘要（原文）
Multimodal large language models (MLLMs) have shown strong potential in robotic surgery for question answering, scene understanding, and grounded assistance, but their high computational cost limits real clinical deployment. Knowledge distillation provides a practical way to build compact surgical MLLMs, yet direct distillation is not well suited to surgical data because surgical samples vary greatly in difficulty, visual ambiguity, and required clinical context, making uniform teacher-student transfer unstable. In addition, the role of supervision changes during training: early stages require stronger teacher guidance for multimodal alignment, while later stages rely more on task supervision for effective optimization. To address these challenges, we propose SurgPace, a complexity-aware continuous curriculum framework for progressive distillation of surgical vision-language models. SurgPace estimates sample complexity using predictive confidence and Lorentz geometric consistency, and uses the fused score to guide a continuous easy-to-hard training process. We further introduce hierarchical representation alignment, which aligns the student with the teacher at the feature, logit, and probability levels, while gradually shifting the training focus from teacher imitation to task supervision. This design separates sample-level curriculum from objective-level scheduling, leading to more stable and effective distillation. We evaluate SurgPace on Surg-396K, a benchmark built from four public surgical datasets and covering five dialogue paradigms. SurgPace consistently outperforms strong MLLM distillation baselines, demonstrating its effectiveness for building compact, memory-efficient surgical MLLMs with faster decoding under controlled benchmarks. Code is available at https://github.com/hezhicheng2002/SurgPace.