Explainable Multimodal AI Approach to Reduce Unnecessary Breast Biopsies

📄 arXiv: 2610.35704v1 📥 PDF

作者: Sadam Hussain, Mansoor Ali, Daly Betzabeth Avendaño-Avalos, Jose Gerardo Tamez-Peña

分类: cs.AI

发布日期: 2026-10-26

💡 一句话要点

提出多模态AI方法以减少不必要的乳腺活检

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 可解释人工智能 乳腺癌诊断 Grad-CAM 视觉变换器 DeBERTa-V3-Large 计算机辅助诊断 医疗影像分析

📋 核心要点

  1. 现有的多模态模型在乳腺活检结果预测中的应用有限，导致不必要的活检和患者焦虑。
  2. 本研究提出了一种结合视觉变换器和DeBERTa-V3-Large的多模态框架，利用Grad-CAM生成可解释的模型预测。
  3. 实验结果显示，该模型在测试集上实现了72%的AUC，优于仅使用图像或文本的基线，表现出良好的临床应用潜力。

📝 摘要（中文）

近年来，多模态视觉-语言模型在计算机辅助诊断（CAD）中的应用逐渐增多，但在乳腺诊断中，尤其是预测活检结果方面的应用仍然有限。本研究提出了一种多模态视觉-语言方法，结合Grad-CAM作为可解释人工智能（XAI）技术，以预测被推荐进行活检的患者中的良性肿瘤，特别是那些被分类为BI-RADS 4和5的患者。该模型在一个包含1632名患者的综合内部数据集上进行训练和评估，展示了高达90%的敏感性和72%的AUC，表明其在高风险患者中识别良性肿瘤的潜力，能够减少不必要的活检、患者焦虑和医疗成本。

🔬 方法详解

问题定义：本研究旨在解决在乳腺癌筛查中，如何有效预测活检结果的问题。现有方法在处理多模态数据时存在局限，导致高风险患者面临不必要的活检。

核心思路：论文提出了一种多模态视觉-语言模型，结合图像特征提取和文本嵌入，通过Grad-CAM提供可解释性，帮助医生做出更精准的诊断决策。

技术框架：整体架构包括两个主要模块：使用视觉变换器（ViT）进行影像特征提取，使用DeBERTa-V3-Large进行文本嵌入。两种模态的特征通过晚期融合进行结合，最终进行分类。

关键创新：本研究的创新点在于将Grad-CAM与多模态模型结合，提供可解释的视觉提示，帮助识别影响模型预测的关键区域，这在现有文献中尚属首次。

关键设计：模型在训练过程中使用了综合数据集，包含1632名患者的四个乳腺X光视图和相应的放射学报告，采用了适当的损失函数和参数设置以优化模型性能。通过独立提取和融合特征，模型在多模态数据处理上展现了显著优势。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，提出的多模态模型在测试集上达到了72%的AUC，敏感性高达90%，而特异性相对较低，分别为40%、36%、18%和11%。与仅使用图像（66% AUC）和文本（68% AUC）的基线相比，表现出显著提升，显示出其在临床应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括乳腺癌筛查和诊断，能够为医生提供更为准确的决策支持，减少不必要的活检，降低患者的心理负担和医疗成本。未来，该方法有望推广至其他类型的医学影像分析中，提升整体医疗服务质量。

📄 摘要（原文）

Recently, there has been rise in multimodal vision-language models for computer-aided diagnosis (CAD), yet their application in breast diagnosis, particularly for predicting biopsy outcomes remains limited. This study presents a multimodal vision-language approach, incorporating Grad-CAM as an Explainable AI (XAI) technique, to predict benign tumors in patients recommended for biopsy, especially those classified as BI-RADS 4 and 5. A novel multimodal framework was devel- oped using Vision Transformer (ViT) for imaging feature extraction and DeBERTa-V3-Large for textual embeddings. The model was trained and evaluated on a comprehensive in-house dataset comprising 1,632 patients, each with four mammography views and a corresponding radiology report. The features of both modalities were extracted independently and fused by late fusion before classification. Grad-CAM was used to generate visual explanations highlighting key regions influencing model predictions. The proposed model demonstrated high sensitivity 90%, 95%, 99%, and 100% with corresponding specificities of 40%, 36%, 18%, and 11%, respectively. The best AUC achieved was 0.72 by multimodal approach on the test set, outperforming the image only (0.66) and text-only (0.68) baselines. The proposed multimodal architecture, enhanced with Grad-CAM, demonstrates a strong potential to identify benign tumors among high-risk patients, offering interpretable insights and thereby helping reduce unnecessary biopsies, patient anxiety, and healthcare costs.