Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors

📄 arXiv: 2607.02091 📥 PDF

作者: Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出多模态融合方法以解决乳腺肿瘤分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 乳腺肿瘤分类 计算机辅助诊断 深度学习 医学影像分析

📋 核心要点

  1. 现有的计算机辅助诊断方法主要依赖单一模态影像特征，未能充分利用临床和文本信息，导致乳腺肿瘤的误分类。
  2. 本文提出了一种多模态融合框架，结合视觉、文本和临床信息，通过创新的特征对齐和交互机制来提高分类性能。
  3. 在患者级五折交叉验证中，所提方法的准确率为77.64%，F1-score为73.38%，AUC为89.74%，显著优于现有基线方法。

📝 摘要（中文）

乳腺纤维腺瘤（FA）和叶状肿瘤（PT）在B超影像上外观高度重叠，导致良性和边缘性PT易被误判为FA，给术前决策带来困难。现有计算机辅助诊断方法通常依赖单一模态影像特征，未能充分利用临床和文本信息。为了解决这一问题，本文构建了FAPT-M数据集，包含910名患者的超声图像、结构化临床属性和超声诊断描述。基于此数据集，提出了一种临床引导的多模态框架，集成了基于DenseNet的视觉编码、受CLIP启发的文本编码和轻量级临床编码，并引入临床条件自适应调制、跨模态Transformer融合和双路径表示学习，以提高特征对齐和多模态交互。实验结果显示，该方法在患者级五折交叉验证下，准确率达到77.64%，F1-score为73.38%，AUC为89.74%，超越了代表性的CNN、Transformer和视觉-语言基线。

🔬 方法详解

问题定义：本文旨在解决乳腺纤维腺瘤与叶状肿瘤在超声影像中外观重叠导致的误分类问题。现有方法多依赖单一模态，未能有效整合临床和文本信息，影响诊断准确性。

核心思路：提出的多模态框架通过结合视觉、文本和临床信息，利用临床引导的特征调制和跨模态融合，增强了不同模态间的交互与对齐，从而提高分类效果。

技术框架：整体架构包括三个主要模块：DenseNet基础的视觉编码模块、CLIP启发的文本编码模块和轻量级临床编码模块。通过临床条件自适应调制和跨模态Transformer融合，最终实现双路径表示学习。

关键创新：最重要的创新在于引入了临床条件自适应调制和跨模态Transformer融合，这些设计使得不同模态的信息能够更有效地交互与对齐，显著提升了分类性能。

关键设计：在网络结构上，采用DenseNet作为视觉编码器，使用CLIP模型进行文本编码，临床信息则通过轻量级编码进行处理。损失函数设计上，结合了多模态特征的对齐损失，确保了不同模态信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在患者级五折交叉验证中取得了77.64%的准确率、73.38%的F1-score和89.74%的AUC，明显优于现有的CNN、Transformer和视觉-语言基线，验证了多模态融合的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、计算机辅助诊断系统以及临床决策支持工具。通过提高乳腺肿瘤的分类准确性，可以帮助医生做出更为精准的术前决策，降低误诊率，提升患者的治疗效果和安全性。未来，该方法也可扩展到其他类型的医学影像分析中，具有广泛的应用前景。

📄 摘要（原文）

Breast fibroadenoma (FA) and phyllodes tumor (PT) are fibroepithelial breast lesions with highly overlapping appearances on B-mode ultrasound, making benign and borderline PT prone to being misclassified as FA and complicating preoperative decision-making. Existing computer-aided diagnosis methods commonly rely on single-modal imaging features and insufficiently exploit complementary clinical and textual information. To address this limitation, we construct the FAPT-M Dataset, a pathology-confirmed multimodal dataset comprising 910 patients with strictly reviewed ultrasound images, structured clinical attributes, and ultrasound diagnostic descriptions. Based on this dataset, we propose a clinically guided multimodal framework that integrates DenseNet-based visual encoding, CLIP-inspired text encoding, and lightweight clinical encoding, and further introduces clinical-conditioned adaptive modulation, cross-modal Transformer fusion, and dual-path representation learning to improve feature alignment and multimodal interaction. Under patient-level five-fold cross-validation, the proposed method achieves an accuracy of 77.64%, F1-score of 73.38%, and AUC of 89.74%, outperforming representative CNN-, Transformer-, and vision-language-based baselines. Ablation studies and class-balanced evaluations further confirm the contribution of three-modality fusion and the key architectural components. Overall, this work provides an effective multimodal approach for fine-grained FA-PT classification and establishes a high-quality benchmark for multimodal breast ultrasound analysis.