Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning
作者: Julien Khlaut, Charles Corbière, Baptiste Callard, Amaury Prat, Leo Butsanets, Antoine Saporta, Théo Danielou, Leo Machado, Korentin Le Floch, Tom Boeken, Pierre Manceron, Corentin Dancette
分类: cs.CV
发布日期: 2026-06-23
💡 一句话要点
提出ConQuer方法以解决3D医学图像与文本对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言对齐 3D医学图像 对比学习 概念查询 多模态学习 医学影像分析 自动报告生成
📋 核心要点
- 现有的视觉-语言对比预训练方法在处理复杂医学图像和长文本报告时，容易丢失重要的结构信息。
- 本文提出的ConQuer方法通过局部对齐增强了全局对齐，允许对每个概念进行独立的对比学习，提升了模型的表现。
- 实验结果表明，Jolia模型在多个任务上超越了CLIP基线，特别是在发现分类和报告生成方面，展示了显著的性能提升。
📝 摘要（中文）
视觉-语言对比预训练已成为3D医学基础模型的主流方法，利用临床实践中产生的大量配对扫描和报告。然而，医学图像通常涉及多个器官，放射学报告比典型自然图像标题更长且结构复杂。CLIP风格的预训练通过将每种模态编码为单个全局标记来压缩这种结构，可能会丢失重要细节。本文提出了ConQuer（概念查询）方法，通过对每个概念进行局部对齐，增强了CLIP的全局对齐。ConQuer将报告拆分为概念特定部分，并学习交叉注意力查询，以在不使用分割掩码或空间监督的情况下汇聚匹配的图像特征。对比学习则独立应用于每个概念。我们使用ConQuer训练了Jolia，一个针对胸部和腹部CT的3D基础模型，Jolia在发现分类、报告生成和跨中心迁移方面始终优于CLIP基线，并在多个公共基准上设定了新的最先进水平。
🔬 方法详解
问题定义：本文旨在解决医学图像与文本报告之间的对齐问题，现有的CLIP风格预训练方法由于将模态压缩为全局标记，可能导致重要细节的丢失。
核心思路：论文提出的ConQuer方法通过将报告拆分为概念特定部分，学习交叉注意力查询，从而实现局部对齐，增强了对比学习的效果。
技术框架：整体架构包括将放射学报告分解为多个概念部分，并为每个概念生成独立的查询，随后通过对比学习对图像特征进行聚合。
关键创新：ConQuer的主要创新在于引入概念查询机制，使得每个概念都能独立学习注意力图，从而提供内建的空间可解释性，与传统方法相比，显著提升了对齐的精度。
关键设计：在技术细节上，ConQuer不依赖于分割掩码或空间监督，采用了交叉注意力机制来聚合图像特征，损失函数设计上则针对每个概念进行独立优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Jolia模型在发现分类、报告生成和跨中心迁移任务上均显著优于CLIP基线，具体性能提升幅度达到XX%（具体数据待补充），并在多个公共基准上设定了新的最先进水平，展示了其在医学图像处理中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在医学影像分析、自动报告生成和临床决策支持系统中。通过提高医学图像与文本之间的对齐精度，Jolia模型能够帮助医生更快速、准确地解读影像结果，提升医疗服务质量。未来，该方法还可能扩展到其他领域，如多模态学习和自然语言处理。
📄 摘要（原文）
Vision-language contrastive pretraining has become the dominant recipe for 3D medical foundation models, leveraging the large volumes of paired scans and reports produced in clinical practice. However, medical images usually span dozens of organs, and radiological reports are much longer than typical natural image captions and are composed of multiple structured sections. CLIP-style pretraining compresses this structure by encoding each modality into a single global token, at the risk of losing important details. We introduce ConQuer (Concept Queries), an image-text pretraining method that augments CLIP's global alignment with a set of localized alignments, one per concept. ConQuer splits the report into concept-specific sections and learns cross-attention queries that pool the matching image features without using any segmentation mask or spatial supervision. Contrastive learning is then applied independently for each concept. Concepts can be any unit of semantic localization; here, they are anatomical regions, one query per organ or gross body region. As a byproduct, each query learns attention maps focused on its concept, providing built-in spatial interpretability. We use ConQuer to train Jolia, a 3D CT foundation model on chest and abdominal CT. Jolia consistently outperforms a CLIP baseline on findings classification, report generation, and cross-center transfer, and sets a new state of the art across multiple public benchmarks. Jolia's weights will be released upon acceptance.