Cross-Modal Iteration Distillation for Robust IHD Screening: The IDNet Framework and A New Benchmark
作者: Yongchang Gao, Junjie Pang, Shuaiyu Yang, Yusheng Yang, Xichao Jia, Shaojie Li, Hongfei Zhang, Jia Mu
分类: cs.CV
发布日期: 2026-06-29
备注: Accepted to the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2026)
💡 一句话要点
提出IDNet框架以解决缺乏基准和多模态融合不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 缺血性心脏病 多模态学习 跨模态蒸馏 眼底摄影 临床数据融合 深度学习 医疗影像分析
📋 核心要点
- 现有方法在缺血性心脏病筛查中面临公共基准稀缺和多模态数据融合效果不佳的挑战。
- 论文提出IDNet框架，通过跨模态蒸馏聚合器（CDA）有效整合视觉和临床特征，改善数据不平衡问题。
- 在UK Biobank基准测试中，IDNet超越了多种基线模型，证明了其在多模态学习中的有效性和优势。
📝 摘要（中文）
彩色眼底摄影（CFP）为缺血性心脏病（IHD）筛查提供了一种低成本且非侵入性的方法，但目前的研究受到公共基准稀缺和视网膜图像与稀疏临床变量融合效果不佳的限制。我们提出了IDNet，一个多模态框架，采用跨模态蒸馏聚合器（CDA），通过可学习的查询序列整合左眼、右眼和临床特征，缓解高维视觉特征与低维表格输入之间的不平衡。我们还构建了一个可重复的UK Biobank基准，经过开放源代码的整理和质量控制流程，获得了来自25,205名受试者的50,410张图像。在该基准上，IDNet在图像单一、临床单一和多个多模态基线模型中表现优异，CDA作为插件融合模块持续提升多种视觉编码器的性能。
🔬 方法详解
问题定义：本论文旨在解决缺血性心脏病筛查中，彩色眼底摄影与临床变量融合不足的问题。现有方法在整合高维视觉特征与低维临床数据时存在显著的不平衡，导致筛查效果不佳。
核心思路：IDNet框架通过跨模态蒸馏聚合器（CDA）来整合不同模态的数据，利用可学习的查询逐步融合左眼、右眼及临床特征，从而提高模型的整体性能和准确性。
技术框架：IDNet的整体架构包括多个模块，首先是图像特征提取模块，然后是CDA模块，最后是分类器。CDA模块负责将不同模态的特征进行有效融合，确保信息的充分利用。
关键创新：IDNet的主要创新在于引入了跨模态蒸馏聚合器（CDA），这一设计使得模型能够在不同模态之间进行信息的有效传递和融合，显著提升了多模态学习的效果。
关键设计：在模型设计中，采用了特定的损失函数来平衡不同模态特征的贡献，同时在网络结构上，CDA模块作为插件设计，能够与多种视觉编码器兼容，提升其性能。
🖼️ 关键图片
📊 实验亮点
在UK Biobank基准测试中，IDNet在图像单一和临床单一模型的基础上，均表现出显著的性能提升，尤其在多模态融合方面，CDA模块的引入使得模型性能提升幅度达到XX%（具体数据未知），展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、心脏病筛查和智能诊断系统。通过有效整合多模态数据，IDNet框架能够为临床决策提供更为准确的支持，推动个性化医疗的发展。未来，该方法有望在其他疾病筛查中得到推广，提升医疗服务的效率与准确性。
📄 摘要（原文）
Color Fundus Photography (CFP) offers a low-cost and non-invasive route for ischemic heart disease (IHD) screening, but current studies are limited by scarce public benchmarks and ineffective fusion of retinal images with sparse clinical variables. We propose IDNet, a multimodal framework with a Cross-Modal Distillation Aggregator (CDA) that uses learnable queries to sequentially integrate left-eye, right-eye, and clinical features, mitigating the imbalance between high-dimensional visual features and low-dimensional tabular inputs. We also construct a reproducible UK Biobank benchmark with open-source curation and quality-control pipelines, yielding 50,410 images from 25,205 subjects. On this benchmark, IDNet outperforms image-only, clinical-only, and several multimodal baselines, and CDA consistently improves multiple visual encoders as a plug-in fusion module.