Representing Part-Whole Hierarchies in Foundation Models by Learning Localizability, Composability, and Decomposability from Anatomy via Self-Supervision
作者: Mohammad Reza Hosseinzadeh Taher, Michael B. Gotway, Jianming Liang
分类: cs.CV
发布日期: 2024-04-24
备注: Accepted at CVPR 2024 [main conference]
🔗 代码/项目: GITHUB
💡 一句话要点
提出Adam-v2以解决医学影像中的部分-整体关系编码问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 医学影像 部分-整体关系 深度学习 解剖结构 表示学习 迁移学习
📋 核心要点
- 现有深度学习方法在医学影像中缺乏对部分-整体关系的明确编码，限制了其性能。
- 本文提出的Adam-v2框架通过局部化、可组合性和可分解性三个分支，显式地学习部分-整体层次结构。
- 在10个任务的实验中，Adam-v2在多种设置下超越了11个基线模型，展现出更高的泛化性和鲁棒性。
📝 摘要（中文）
人类在解析图像时能够轻松地将其分解为部分-整体层次结构，而深度学习在多层次特征空间的学习上表现出色，但往往缺乏对部分-整体关系的明确编码，尤其在医学影像中尤为突出。为了解决这一局限性，本文提出了Adam-v2，这是一种新的自监督学习框架，通过三个关键分支（局部化、可组合性和可分解性）将部分-整体层次结构明确纳入学习目标。实验结果显示，Adam-v2在零-shot、少-shot迁移和全微调设置下，相较于11个基线模型，在10个任务中展现出优越的性能，证明了其在大规模医学模型和现有自监督学习方法中的优势。
🔬 方法详解
问题定义：本文旨在解决深度学习在医学影像中对部分-整体关系编码不足的问题，现有方法往往无法有效捕捉解剖结构的层次性特征。
核心思路：Adam-v2通过引入局部化、可组合性和可分解性三个分支，明确构建部分-整体层次结构，从而提升对解剖结构的理解和表示能力。
技术框架：Adam-v2的整体架构包括三个主要模块：局部化模块用于获取解剖模式的区分性表示；可组合性模块学习解剖结构的部分到整体的关系；可分解性模块则理解整体到部分的关系。
关键创新：Adam-v2的核心创新在于其显式构建解剖结构的层次关系，这在现有自监督学习方法中是未曾实现的，显著提升了表示的语义平衡性和多样性。
关键设计：在设计上，Adam-v2采用了特定的损失函数来优化每个模块的学习目标，并通过无标签医学图像进行训练，确保了表示的泛化性和语义意义。
🖼️ 关键图片
📊 实验亮点
在10个任务的实验中，Adam-v2在零-shot、少-shot迁移和全微调设置下的表现均优于11个基线模型，展示了其在大规模医学模型和现有自监督学习方法中的显著优势，提升幅度达到XX%（具体数据未知）。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在医学影像分析、疾病诊断和手术规划等领域。通过提升对解剖结构的理解，Adam-v2能够为临床医生提供更准确的辅助决策支持，未来可能推动医学影像处理技术的进一步发展。
📄 摘要（原文）
Humans effortlessly interpret images by parsing them into part-whole hierarchies; deep learning excels in learning multi-level feature spaces, but they often lack explicit coding of part-whole relations, a prominent property of medical imaging. To overcome this limitation, we introduce Adam-v2, a new self-supervised learning framework extending Adam [79] by explicitly incorporating part-whole hierarchies into its learning objectives through three key branches: (1) Localizability, acquiring discriminative representations to distinguish different anatomical patterns; (2) Composability, learning each anatomical structure in a parts-to-whole manner; and (3) Decomposability, comprehending each anatomical structure in a whole-to-parts manner. Experimental results across 10 tasks, compared to 11 baselines in zero-shot, few-shot transfer, and full fine-tuning settings, showcase Adam-v2's superior performance over large-scale medical models and existing SSL methods across diverse downstream tasks. The higher generality and robustness of Adam-v2's representations originate from its explicit construction of hierarchies for distinct anatomical structures from unlabeled medical images. Adam-v2 preserves a semantic balance of anatomical diversity and harmony in its embedding, yielding representations that are both generic and semantically meaningful, yet overlooked in existing SSL methods. All code and pretrained models are available at https://github.com/JLiangLab/Eden.