PANDA - Prototype-Anchored Alignment for Partially Unpaired Multimodal Learning, with Applications to Alzheimers MRI and TCGA Pathology
作者: Sheethal Bhat, Mahfuzur Rahman Chowdhury, Paula Andrea Perez-Toro, Stephan Wunderlich, Rose Dawn Bharat, Siming Bayer, Andreas Maier
分类: cs.CV, cs.AI
发布日期: 2026-08-26
💡 一句话要点
提出PANDA框架以解决多模态医学预测中的不完全配对问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 医学影像 阿尔茨海默病 生存预测 数据对齐 深度学习 原型锚定
📋 核心要点
- 现有多模态医学预测方法在辅助模态不完全配对时表现不佳，无法有效利用可用信息。
- PANDA框架通过原型锚定对齐，允许在推理时不依赖于辅助模态，从而提升主模态的预测性能。
- 在ADNI和TCGA数据集上，PANDA在多个指标上超越了基线，显示出显著的性能提升。
📝 摘要（中文）
多模态医学预测常面临辅助模态不完全配对的问题，即只有部分受试者有辅助模态可用。本文提出PANDA（原型锚定数据对齐）框架，该框架在推理时无需辅助输入，将辅助信息转移到主模态模型。PANDA分为两个阶段：第一阶段从配对子集学习共享嵌入并估计辅助模态的类原型；第二阶段在所有受试者上训练主编码器，使用交叉熵损失和对齐到冻结原型。PANDA在两个应用上进行了评估，结果显示其在AD/CN分类和TCGA肺癌生存预测中均显著提高了预测性能。
🔬 方法详解
问题定义：本文解决的是多模态医学预测中的不完全配对问题，现有方法在辅助模态缺失时无法有效利用可用信息，导致预测性能下降。
核心思路：PANDA框架通过原型锚定对齐的方式，将辅助模态的信息转移到主模态模型中，允许在推理阶段不依赖于辅助模态，从而提升主模态的预测能力。
技术框架：PANDA分为两个主要阶段：第一阶段从配对的子集学习共享嵌入并估计类原型；第二阶段在所有受试者上训练主编码器，使用交叉熵损失和对齐到冻结原型。
关键创新：PANDA的创新在于其能够处理任意配对率，包括零重叠的情况，通过类原型级别的监督来实现这一点，这与现有方法的依赖于完整配对的设计有本质区别。
关键设计：在损失函数设计上，PANDA结合了交叉熵损失和对齐损失，确保主模态模型能够有效利用辅助模态的信息。同时，模型架构采用了Conv5-FC3等深度学习结构，以增强特征提取能力。
🖼️ 关键图片
📊 实验亮点
在ADNI数据集上，PANDA相较于MRI单模态基线，AUC提升了7.9个百分点，达到了0.868，并有效减少了假阳性率。在TCGA肺癌生存预测中，PANDA在2年生存率预测中提升了3.5个百分点，显示出其在多模态学习中的优越性。
🎯 应用场景
PANDA框架在医学影像分析和生物信息学等领域具有广泛的应用潜力，尤其是在阿尔茨海默病和癌症等疾病的早期诊断和预后评估中。通过有效利用不完全的辅助模态数据，PANDA能够提升主模态的预测准确性，具有重要的临床价值和实际影响。
📄 摘要（原文）
Multimodal medical prediction often faces incomplete pairing: auxiliary modalities with complementary signal are available for only a subset of subjects (or none) and cannot be assumed at deployment. We introduce PANDA (Prototype Anchored Data Alignment), a two-stage framework that transfers auxiliary information to a primary-modality model without auxiliary inputs at inference. Stage 1 learns a shared embedding from the paired subset and estimates class prototypes from auxiliary modalities; Stage 2 trains the primary encoder on all subjects using cross-entropy plus alignment to the frozen prototypes. Because supervision is defined at the class-prototype level, PANDA accommodates arbitrary pairing rates, including zero subject overlap. We evaluate PANDA on two applications. On a 1,021-subject multi-scanner ADNI cohort, we perform AD/CN classification with three auxiliary modalities at distinct pairing rates: tabular scores (44.8%), FDG-PET (18.7%), and external handwriting kinematics (0% overlap). Relative to the same-backbone MRI-only baseline, PANDA attains AUC 0.868 +-0.020 (+7.9pp) and reduces 1.5T CN false positives by 24.3pp; on a fully trainable Conv5-FC3 backbone it reaches AUC 0.893 (best overall). A pairing-rate ablation shows that the joint anchor remains within seed noise from 75% to 5% pairing. On TCGA-Lung survival prediction from whole-slide images with RNA-seq as auxiliary data, PANDA improves over WSI-only on 2-year OS (AUC +3.5pp) and Cox PH (C-index +9.0pts) and outperforms full-fusion training, which underperforms WSI-only, while requiring no RNA at inference; wide confidence intervals on this smaller cohort keep the gains below conventional significance. Overall, PANDA provides a deployment-oriented mechanism for leveraging incomplete auxiliary modalities to improve primary-modality prediction.