Cross-Attention Multimodal Learning for Predicting Response to Neoadjuvant Imatinib in Gastrointestinal Stromal Tumors: A Multicenter Retrospective Study
作者: Fariba Tohidinezhad, Douwe J. Spaanderman, Natalia Oviedo Acosta, Kaouther Mouheb, Karthik Prathaban, David F. Hanff, Dirk J. Grünhagen, Cornelis Verhoef, Joris M. van Sabben, Evelyne Roets, Jette J. Slettenhaar, Hans Gelderblom, Ingrid M. E. Desar, Anna K. L. Reyners, Neeltje Steeghs, Stefan Klein, Martijn P. A. Starmans
分类: eess.IV, cs.CV
发布日期: 2026-06-24
💡 一句话要点
提出跨注意力多模态学习框架以预测胃肠道间质瘤对伊马替尼的反应
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 深度学习 跨注意力机制 肿瘤预测 伊马替尼 可解释性AI 临床应用
📋 核心要点
- 现有方法无法可靠预测胃肠道间质瘤对伊马替尼的反应，导致临床决策困难。
- 本研究提出了一种跨注意力多模态深度学习框架，结合CT影像和临床变量进行反应预测。
- 实验结果显示，跨注意力模型在内部验证中AUC高达0.99，但外部验证表现较低，显示出一定的局限性。
📝 摘要（中文）
背景：胃肠道间质瘤（GIST）对新辅助伊马替尼的反应高度可变，现有临床或分子标志物无法可靠预测。本研究开发并评估了一种可解释的多模态深度学习框架，整合计算机断层扫描（CT）影像和临床变量以预测治疗反应。方法：回顾性纳入2000-2023年间四个三级中心的患者，构建了一个跨注意力框架以预测对新辅助伊马替尼的反应。结果：在213名患者中，反应者的肿瘤较大，具有更高的有丝分裂指数和更频繁的KIT突变。跨注意力模型在内部验证中表现最佳，但外部验证表现较低。可解释性分析显示反应者与非反应者之间特征重要性显著不同。结论：跨注意力框架在提高GIST对伊马替尼反应预测方面具有潜力，并提供了对多模态治疗反应决定因素的可解释见解。
🔬 方法详解
问题定义：本研究旨在解决现有方法在预测胃肠道间质瘤对伊马替尼反应时的不足，尤其是缺乏可靠的临床和分子标志物来进行有效预测。
核心思路：论文提出了一种跨注意力多模态学习框架，通过整合CT影像和临床变量，利用深度学习技术来提高对治疗反应的预测能力。
技术框架：整体架构包括两个主要阶段：自监督预训练和从头训练。自监督预训练采用低秩适应方法，增强模型的泛化能力。模型通过交叉注意力机制整合不同模态的信息。
关键创新：最重要的技术创新在于跨注意力机制的引入，使得模型能够有效融合临床数据与影像信息，显著提升了预测的准确性和可解释性。
关键设计：在模型训练中，使用SMAC3优化超参数，评估了两种训练策略的效果。损失函数和网络结构经过精心设计，以确保模型在不同数据集上的表现。
📊 实验亮点
实验结果显示，跨注意力模型在内部验证中达到了最高的AUC值（高达0.99），而外部验证的AUC值为0.60-0.63，显示出模型在不同数据集上的表现差异。临床特征的单独模型表现中等（AUC 0.66），影像模型的泛化能力有限（AUC 0.56-0.66）。
🎯 应用场景
该研究的潜在应用领域包括肿瘤治疗个性化方案的制定，尤其是在胃肠道间质瘤的临床管理中。通过提高对伊马替尼反应的预测能力，能够帮助医生更好地选择合适的治疗方案，从而提高患者的治疗效果和生存率。
📄 摘要（原文）
Background: Response to neoadjuvant imatinib in gastrointestinal stromal tumors (GISTs) is highly variable and cannot be reliably predicted using current clinical or molecular markers. This study developed and evaluated an explainable multimodal deep learning framework integrating computed tomography (CT) imaging and clinical variables to predict treatment response. Methods: Patients from four tertiary centers were retrospectively included between 2000-2023 in independent pretraining (n=935) and prediction (n=213) cohorts. A cross-attention framework integrating clinical variables and tumor-centered CT imaging was developed to predict response to neoadjuvant imatinib. Two training strategies were evaluated: (1) self-supervised pretraining with low-rank adaptation and (2) training from scratch. Hyperparameters were optimized using SMAC3. Performance was assessed through internal cross-validation and external testing. Ablation analyses and attention-based explanations were used to quantify modality contributions. Results: Among 213 patients (54.5% responders), responders had larger tumors (112 vs. 89 mm, P=0.026), higher mitotic index (3 vs. 0, P<0.001), and more frequent KIT mutations (69.0% vs. 56.7%, P=0.019). Cross-attention models achieved the highest internal performance (AUC up to 0.99) but lower external performance (AUC 0.60-0.63). Clinical-only performance was moderate (AUC 0.66), whereas imaging-only models showed limited generalizability (AUC 0.56-0.66). Explainability analyses identified significant differences in feature importance between responders and non-responders, including CD117, BRAF, PDGFRA, age, sex, disease status, and comorbidities (FDR-adjusted P<=0.036). Conclusion: The cross-attention framework shows potential for improving imatinib response prediction in GIST while providing interpretable insights into multimodal determinants of treatment response.