CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing

📄 arXiv: 2603.03618v1 📥 PDF

作者: Juampablo E. Heras Rivera, Daniel K. Low, Xavier Xiong, Jacob J. Ruzevick, Daniel D. Child, Wen-wai Yim, Mehmet Kurt, Asma Ben Abacha

分类: cs.CV

发布日期: 2026-03-04

备注: Under review, MICCAI 2026

💡 一句话要点

CoRe-BT：用于鲁棒性脑肿瘤分型的多模态放射-病理-文本基准数据集

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分型 多模态学习 医学图像分析 基准数据集 模态缺失

📋 核心要点

  1. 脑肿瘤精确分型需要整合MRI、组织病理学和病理报告等异构临床证据，但这些信息在诊断时常不完整。
  2. CoRe-BT数据集通过提供多模态数据和肿瘤标注，旨在促进在模态缺失情况下鲁棒的多模态脑肿瘤分型研究。
  3. 基线实验验证了多模态融合的可行性，并突出了不同模态信息在肿瘤分型任务中的互补作用。

📝 摘要（中文）

本文介绍了一个用于脑肿瘤分型的跨模态放射-病理-文本基准数据集CoRe-BT，旨在研究缺失模态条件下鲁棒的多模态学习。该数据集包含310名患者的多序列脑部MRI（T1、T1c、T2、FLAIR），其中95例配有H&E染色的全切片病理图像和病理报告。所有病例都标注了肿瘤类型和等级，MRI体数据包含专家标注的肿瘤掩膜，支持区域感知建模和辅助学习任务。肿瘤被分为六个临床相关的类别，涵盖常见和罕见胶质瘤亚型的异质性。通过比较仅使用MRI的模型与在存在病理信息时结合病理信息的多模态方法，评估了在不同模态可用性下的肿瘤分型。基线实验证明了多模态融合的可行性，并强调了不同模态在临床相关分型任务中的互补贡献。CoRe-BT为在不完整临床数据的真实场景中推进多模态胶质瘤分型和表征学习提供了一个可靠的测试平台。

🔬 方法详解

问题定义：论文旨在解决脑肿瘤精确分型问题，现有方法在临床实际应用中面临多模态数据不完整或缺失的挑战，导致分型准确率下降。如何利用有限的模态信息进行鲁棒的肿瘤分型是关键问题。

核心思路：论文的核心思路是构建一个包含多模态数据（MRI、病理图像、病理报告）的基准数据集，并在此基础上研究多模态融合方法，特别是在模态缺失情况下的鲁棒性。通过提供高质量的数据和标注，促进相关算法的开发和评估。

技术框架：CoRe-BT数据集包含310名患者的多序列脑部MRI数据，其中95例配有H&E染色的全切片病理图像和病理报告。所有病例都标注了肿瘤类型和等级，MRI体数据包含专家标注的肿瘤掩膜。研究人员可以利用这些数据进行多模态融合建模，例如使用深度学习模型提取不同模态的特征，然后进行融合和分类。

关键创新：该论文的关键创新在于构建了一个专门用于研究模态缺失情况下脑肿瘤分型的多模态基准数据集。该数据集包含多种模态的数据，并提供了详细的标注，为研究人员提供了一个可靠的测试平台。此外，论文还通过基线实验验证了多模态融合的可行性，并强调了不同模态的互补作用。

关键设计：数据集包含六个临床相关的肿瘤类别，涵盖常见和罕见胶质瘤亚型，保证了数据集的代表性。MRI数据包含专家标注的肿瘤掩膜，支持区域感知建模和辅助学习任务。论文通过比较仅使用MRI的模型与结合病理信息的多模态模型，评估了在不同模态可用性下的肿瘤分型性能。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过基线实验验证了多模态融合在脑肿瘤分型中的可行性，并发现不同模态信息具有互补性。例如，在某些肿瘤类型中，病理图像可以提供MRI难以获取的微观结构信息，从而提高分型准确率。具体性能数据和提升幅度在论文中进行了详细展示。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生在多模态信息不完整的情况下更准确地进行脑肿瘤分型，从而制定更合适的治疗方案。该数据集的发布也将促进多模态医学图像分析和人工智能在脑肿瘤诊断领域的应用和发展。

📄 摘要（原文）

Accurate brain tumor typing requires integrating heterogeneous clinical evidence, including magnetic resonance imaging (MRI), histopathology, and pathology reports, which are often incomplete at the time of diagnosis. We introduce CoRe-BT, a cross-modal radiology-pathology-text benchmark for brain tumor typing, designed to study robust multimodal learning under missing modality conditions. The dataset comprises 310 patients with multi-sequence brain MRI (T1, T1c, T2, FLAIR), including 95 cases with paired H&E-stained whole-slide pathology images and pathology reports. All cases are annotated with tumor type and grade, and MRI volumes include expert-annotated tumor masks, enabling both region-aware modeling and auxiliary learning tasks. Tumors are categorized into six clinically relevant classes capturing the heterogeneity of common and rare glioma subtypes. We evaluate tumor typing under variable modality availability by comparing MRI-only models with multimodal approaches that incorporate pathology information when present. Baseline experiments demonstrate the feasibility of multimodal fusion and highlight complementary modality contributions across clinically relevant typing tasks. CoRe-BT provides a grounded testbed for advancing multimodal glioma typing and representation learning in realistic scenarios with incomplete clinical data.