CAMEL: Cross-Architecture Masked Embedding Learning for Ultra-Lightweight Retinal Foundation Models
作者: Andre Guarnier De Mitri, Giovani Decico Lucafo, Miller Matheus Lima Anacleto Rocha, Diego Furtado Silva
分类: cs.LG, cs.AI, cs.CV
发布日期: 2026-10-29
备注: 8 pages, 6 figures, pre-print
💡 一句话要点
提出CAMEL以解决轻量级视网膜模型的计算复杂性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视网膜图像 基础模型 知识蒸馏 轻量级模型 计算复杂性 医学影像分析 不对称掩码 深度学习
📋 核心要点
- 现有的基础模型虽然在多种任务上表现优异，但其高计算需求限制了在临床环境中的应用。
- CAMEL通过跨架构蒸馏和不对称掩码策略，成功将知识从大型教师模型转移到轻量级学生模型。
- 实验表明，CAMEL在四个数据集上均能保持高准确性，同时显著降低计算复杂性，适合资源有限的临床应用。
📝 摘要（中文）
近年来，深度学习在眼科病理自动分级方面取得了显著进展，但在临床可扩展性上仍存在较大差距。基础模型虽然在医学影像筛查和诊断中表现出色，但其计算成本高，限制了在实际临床环境中的应用。为此，本文提出了CAMEL（跨架构掩码嵌入学习），一种新颖的跨架构蒸馏框架，通过不对称掩码策略在嵌入学习中有效地将知识从大型教师模型转移到紧凑的学生模型。实验结果表明，CAMEL在保持准确性的同时显著降低了计算复杂性，适用于资源受限的临床环境。
🔬 方法详解
问题定义：本文旨在解决现有基础模型在临床应用中因计算复杂性高而导致的可扩展性不足的问题。现有方法在资源受限的环境中难以部署。
核心思路：CAMEL的核心思路是通过不对称掩码策略进行跨架构蒸馏，旨在有效地将大型教师模型的知识转移到轻量级学生模型中，从而降低计算需求。
技术框架：CAMEL的整体架构包括教师模型和学生模型的设计，以及嵌入学习过程中的不对称掩码策略。教师模型负责生成丰富的特征表示，而学生模型则通过蒸馏过程学习这些表示。
关键创新：CAMEL的主要创新在于其不对称掩码策略，这一设计使得知识转移更加高效，与传统的蒸馏方法相比，能够在保持性能的同时显著降低计算复杂性。
关键设计：在参数设置上，CAMEL采用了特定的损失函数以优化学生模型的学习过程，并在网络结构上进行了精简，以确保在资源受限的环境中仍能实现高效的推理。
🖼️ 关键图片
📊 实验亮点
在四个不同的数据集上进行的实验表明，CAMEL在保持与RETFound相当的准确性的同时，计算复杂性降低了显著的比例，具体提升幅度未知。这一结果展示了CAMEL在资源受限环境中的实际应用潜力。
🎯 应用场景
CAMEL的研究成果在眼科医学影像分析中具有广泛的应用潜力，尤其是在资源有限的临床环境中。通过提供高效且准确的模型，CAMEL能够帮助医生更好地进行病理诊断和风险预测，推动眼科医疗的智能化发展。未来，该方法还可扩展到其他医学领域的影像分析任务中。
📄 摘要（原文）
Recent progress in deep learning has substantially advanced automated grading of ophthalmologic pathologies, supported by large annotated datasets and improved representation learning. However, a significant gap remains between state-of-the-art performance and clinical scalability. In particular, foundation models have reshaped image-based medical screening and diagnosis. These large-scale architectures trained on extensive datasets learn rich, generalizable feature representations that can be adapted to a wide range of downstream tasks. In ophthalmology, RETFound, one of the most relevant foundation models for retinal images, performs strongly across classification, segmentation, and risk prediction tasks. Despite their effectiveness, foundation models are often computationally prohibitive, hindering their deployment in real-world clinical environments where hardware constraints and latency are critical. To bridge this gap, we introduce CAMEL (Cross-Architecture Masked Embedding Learning), a novel cross-architecture distillation framework that uses an asymmetric masking strategy during embedding learning to effectively transfer knowledge from massive teacher foundation models to compact, lightweight student models. Our experimental evaluation across four datasets shows that CAMEL preserves accuracy while drastically reducing computational complexity, enabling lightweight yet highly accurate models suitable for resource-limited clinical settings.