Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors

📄 arXiv: 2607.02091v1 📥 PDF

作者: Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li

分类: cs.CV

发布日期: 2026-07-02

💡 一句话要点

提出多模态融合方法以解决乳腺纤维腺瘤与叶状肿瘤的细粒度分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 乳腺肿瘤分类 计算机辅助诊断 深度学习 医学影像分析

📋 核心要点

  1. 现有方法主要依赖单一模态的成像特征，未能有效利用临床和文本信息，导致乳腺纤维腺瘤与叶状肿瘤的误分类。
  2. 本文提出了一种多模态框架，结合视觉、文本和临床信息，通过自适应调制和Transformer融合来提升分类精度。
  3. 在患者级五折交叉验证中，所提方法的准确率达到77.64%，F1-score为73.38%，AUC为89.74%，显著优于现有基线方法。

📝 摘要（中文）

乳腺纤维腺瘤（FA）和叶状肿瘤（PT）在B超图像中外观高度重叠，导致良性和边缘PT易被误分类为FA，从而复杂化术前决策。现有的计算机辅助诊断方法通常依赖单一模态的成像特征，未能充分利用临床和文本信息。为解决这一局限性，本文构建了FAPT-M数据集，包含910名患者的病理确认的多模态数据。基于此数据集，提出了一种临床指导的多模态框架，集成了基于DenseNet的视觉编码、受CLIP启发的文本编码和轻量级临床编码，并引入临床条件自适应调制、跨模态Transformer融合和双路径表示学习，以改善特征对齐和多模态交互。实验结果表明，该方法在患者级五折交叉验证中实现了77.64%的准确率、73.38%的F1-score和89.74%的AUC，超越了代表性的CNN、Transformer和视觉语言基线。

🔬 方法详解

问题定义：本文旨在解决乳腺纤维腺瘤与叶状肿瘤在B超图像中细粒度分类的挑战。现有方法往往依赖单一模态，导致分类准确性不足，尤其是在良性和边缘PT的识别上。

核心思路：提出一种多模态融合框架，结合视觉、文本和临床信息，通过跨模态交互和特征对齐来提升分类性能。此设计旨在充分利用不同模态之间的互补信息，增强模型的判别能力。

技术框架：整体架构包括三个主要模块：DenseNet视觉编码模块、CLIP启发的文本编码模块和轻量级临床编码模块。通过临床条件自适应调制和跨模态Transformer融合，实现多模态特征的有效交互和对齐。

关键创新：本研究的关键创新在于引入临床条件自适应调制和双路径表示学习，显著提升了多模态特征的融合效果。这种方法与传统的单模态方法相比，能够更好地捕捉复杂的临床信息。

关键设计：在网络结构上，采用DenseNet作为视觉编码器，结合CLIP模型的文本编码方式，设计了轻量级的临床编码模块。损失函数方面，采用了适应性损失函数以平衡不同模态的贡献，确保模型在多模态学习中的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在患者级五折交叉验证中取得了77.64%的准确率、73.38%的F1-score和89.74%的AUC，明显优于现有的CNN、Transformer和视觉语言基线，验证了多模态融合的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、计算机辅助诊断和个性化医疗。通过提升乳腺肿瘤的分类精度，能够为临床医生提供更可靠的决策支持，进而改善患者的治疗效果和预后。未来，该方法也可扩展至其他类型的医学图像分析任务。

📄 摘要（原文）

Breast fibroadenoma (FA) and phyllodes tumor (PT) are fibroepithelial breast lesions with highly overlapping appearances on B-mode ultrasound, making benign and borderline PT prone to being misclassified as FA and complicating preoperative decision-making. Existing computer-aided diagnosis methods commonly rely on single-modal imaging features and insufficiently exploit complementary clinical and textual information. To address this limitation, we construct the FAPT-M Dataset, a pathology-confirmed multimodal dataset comprising 910 patients with strictly reviewed ultrasound images, structured clinical attributes, and ultrasound diagnostic descriptions. Based on this dataset, we propose a clinically guided multimodal framework that integrates DenseNet-based visual encoding, CLIP-inspired text encoding, and lightweight clinical encoding, and further introduces clinical-conditioned adaptive modulation, cross-modal Transformer fusion, and dual-path representation learning to improve feature alignment and multimodal interaction. Under patient-level five-fold cross-validation, the proposed method achieves an accuracy of 77.64%, F1-score of 73.38%, and AUC of 89.74%, outperforming representative CNN-, Transformer-, and vision-language-based baselines. Ablation studies and class-balanced evaluations further confirm the contribution of three-modality fusion and the key architectural components. Overall, this work provides an effective multimodal approach for fine-grained FA-PT classification and establishes a high-quality benchmark for multimodal breast ultrasound analysis.