OrganLens: Organ-Specific Representation Learning for CT Foundation Models

📄 arXiv: 2607.25164v1 📥 PDF

作者: Zhixuan Ge, Anqi Li, Sadeer Al-Kindi, Hanwen Xu, Wei Qiu

分类: cs.CV, cs.AI

发布日期: 2026-07-28

备注: 16 pages, 7 figures, 5 tables

💡 一句话要点

提出OrganLens以解决CT图像中器官特定表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 器官特定表示 CT图像分析 自监督学习 医学影像 深度学习

📋 核心要点

  1. 现有CT基础模型通常生成单一的体积级表示，无法满足特定器官的生物医学问题需求。
  2. OrganLens通过自监督学习实现器官特定表示，利用共享编码器和解剖掩码监督来优化特征表示。
  3. 实验结果表明，OrganLens在多个数据集上显著提高了器官特定任务的性能，展示了其广泛的应用潜力。

📝 摘要（中文）

CT检查能够捕捉多个器官，但许多生物医学问题关注特定器官的异常、预后或纵向变化。这些问题需要在同一CT体积内为每个器官提供单独的表示。现有的CT基础模型通常生成单一的体积级表示，而近期的解剖学感知方法则要么对预分离的器官体积进行编码，要么明确将图像解开为器官标记组。我们提出了OrganLens，通过自监督学习实现器官特定的表示学习。器官身份条件化共享CT编码器，同时器官特定的蒸馏和解剖掩码监督塑造特征，以进行解剖加权池化，形成器官特定的表示。在推理时，模型无需外部分割掩码即可生成11个器官特定的表示。我们在CT-RATE、RAD-ChestCT、INSPECT和NLST上评估了OrganLens，结果显示心脏表示将CT-RATE心脏肥大AUROC从0.910提高到0.953，肺部表示将NLST肺癌死亡率的Harrell C-index提高了14.2%。

🔬 方法详解

问题定义：本论文旨在解决CT图像中器官特定表示学习的问题。现有方法通常生成单一的体积级表示，无法有效捕捉特定器官的临床相关信息，导致在处理生物医学问题时的局限性。

核心思路：论文提出OrganLens，通过自监督学习实现器官特定的表示。核心思想是利用器官身份条件化共享CT编码器，并通过器官特定的蒸馏和解剖掩码监督来优化特征表示，以便在推理时生成多个器官特定的表示。

技术框架：OrganLens的整体架构包括共享编码器、器官特定蒸馏模块和解剖掩码监督模块。共享编码器负责提取CT图像的全局特征，而蒸馏模块和解剖掩码监督则用于生成器官特定的表示。

关键创新：最重要的技术创新在于通过共享编码器与器官身份条件化的结合，能够在不依赖外部分割掩码的情况下，生成多个器官特定的表示。这一方法与现有的解剖学感知方法有本质区别，后者往往需要预分离的器官体积或明确的图像解开。

关键设计：在模型设计中，采用了特定的损失函数来优化器官特定特征的学习，同时在网络结构上实现了共享编码器与器官特定模块的有效结合，以确保特征的解剖加权池化。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OrganLens在多个数据集上表现优异，心脏表示将CT-RATE心脏肥大AUROC从0.910提升至0.953，肺部表示在NLST肺癌死亡率的Harrell C-index上提高了14.2%。此外，全球表示在INSPECT Recall@10中达到了33.09%的性能，展示了其在多种任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、疾病诊断和个性化医疗。通过提供器官特定的表示，OrganLens能够帮助研究人员和临床医生更好地理解和分析特定器官的疾病，推动相关领域的研究和临床实践。未来，该框架可能在大规模临床数据分析中发挥重要作用，促进器官特定疾病的研究。

📄 摘要（原文）

A CT examination captures multiple organs, but many biomedical questions concern abnormalities, prognosis, or longitudinal change in a specific organ. These questions require a separate representation for each organ within the same CT volume. Existing CT foundation models commonly produce a single volume-level representation, while recent anatomy-aware methods either encode pre-separated organ volumes or explicitly disentangle images into organ token groups. The former may remove clinically relevant surrounding context, while the latter does not condition a shared encoder on a selected organ before its features are formed. We introduce OrganLens for organ-specific representation learning through self-supervision. An organ identity conditions a shared CT encoder, while organ-specific distillation and anatomy-mask supervision shape features for anatomy-weighted pooling into organ-specific representations. At inference, the shared model produces 11 organ-specific representations without external segmentation masks. We evaluate OrganLens on CT-RATE, RAD-ChestCT, INSPECT, and NLST across diverse acquisitions and downstream evaluations. Relative to CT-pretrained DINOv2, heart representations raise CT-RATE cardiomegaly AUROC from 0.910 to 0.953, while lung representations improve the Harrell C-index for NLST lung-cancer mortality by 14.2\%. The global representation reaches INSPECT Recall@10 of 33.09\% and 32.04\% for text-to-image and image-to-text retrieval, respectively. Across organ-related tasks, anatomically matched representations provide stronger task-relevant signal, while the global representation retains broad utility. OrganLens offers a scalable approach to organ-specific CT representation learning with a shared encoder. More broadly, it provides the medical research community with a reusable framework for studying organ-specific disease across cohorts and clinical endpoints.