Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation

📄 arXiv: 2404.08584v1 📥 PDF

作者: Abu Bakor Hayat Arnob, Xiangxue Wang, Yiping Jiao, Xiao Gan, Wenlong Ming, Jun Xu

分类: cs.CV

发布日期: 2024-04-12

备注: 2024 IEEE International Symposium on Biomedical Imaging

期刊: 10.1109/ISBI56570.2024

DOI: 10.1109/ISBI56570.2024.10635539

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于视觉基础模型的病理原始分割以解决病理图像处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理图像处理 原始分割 视觉基础模型 无监督学习 细胞核检测 多尺度特征 医学图像分析

📋 核心要点

  1. 现有的医学图像分割方法通常依赖于特定领域的数据集训练，难以适应病理图像的多样性和复杂性。
  2. 本文提出了一种基于SAM的无监督分割方法，通过预训练编码器生成区域提议，结合多尺度特征进行分割。
  3. 实验结果显示，该方法在细胞核检测和分割质量上超越了现有的最先进模型，并在HuBMAP Kidney数据集上提升了4.5%的平均精度。

📝 摘要（中文）

医学图像处理通常需要经过精心设计的数据集进行训练，以应对病理学中独特的图像特征和领域特定的挑战。数字化组织样本中的原始检测和分割对于癌症的客观和自动化诊断及预后至关重要。本文提出了一种新颖的方法，利用SAM（Segment Anything Model）的预训练自然图像编码器进行检测基础的区域提议。通过多尺度聚合局部语义和全局上下文，最终生成全面的原始分割图。该方法在PanNuke数据集上与最先进的模型相比，在细胞核检测和分割质量上表现出色，同时在HuBMAP Kidney数据集上取得了显著的平均精度提升。

🔬 方法详解

问题定义：本文旨在解决病理图像处理中的原始检测与分割问题，现有方法往往需要大量标注数据，且难以适应不同样本的特征。

核心思路：通过适应SAM的预训练自然图像编码器，生成区域提议并结合多尺度特征进行分割，避免了额外的训练和微调。

技术框架：整体架构包括区域提议生成、特征传播层、局部语义与全局上下文聚合、以及最终的分割图生成。

关键创新：该方法的创新在于利用SAM的预训练能力，无需额外训练即可实现高效的病理图像分割，与传统方法相比显著降低了对标注数据的依赖。

关键设计：在技术细节上，采用了多尺度特征聚合策略，结合了局部和全局信息，以提高分割的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在PanNuke数据集上在细胞核检测的F1分数和分割质量的bPQ/mPQ、dice等指标上均优于现有最先进模型。此外，在HuBMAP Kidney数据集上，平均精度提升了4.5%，显示出显著的性能优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医学图像分析、病理学诊断和癌症预后评估等领域。通过提高分割精度和效率，能够帮助医生更快地做出诊断决策，进而改善患者的治疗效果。

📄 摘要（原文）

Medical image processing usually requires a model trained with carefully crafted datasets due to unique image characteristics and domain-specific challenges, especially in pathology. Primitive detection and segmentation in digitized tissue samples are essential for objective and automated diagnosis and prognosis of cancer. SAM (Segment Anything Model) has recently been developed to segment general objects from natural images with high accuracy, but it requires human prompts to generate masks. In this work, we present a novel approach that adapts pre-trained natural image encoders of SAM for detection-based region proposals. Regions proposed by a pre-trained encoder are sent to cascaded feature propagation layers for projection. Then, local semantic and global context is aggregated from multi-scale for bounding box localization and classification. Finally, the SAM decoder uses the identified bounding boxes as essential prompts to generate a comprehensive primitive segmentation map. The entire base framework, SAM, requires no additional training or fine-tuning but could produce an end-to-end result for two fundamental segmentation tasks in pathology. Our method compares with state-of-the-art models in F1 score for nuclei detection and binary/multiclass panoptic(bPQ/mPQ) and mask quality(dice) for segmentation quality on the PanNuke dataset while offering end-to-end efficiency. Our model also achieves remarkable Average Precision (+4.5%) on the secondary dataset (HuBMAP Kidney) compared to Faster RCNN. The code is publicly available at https://github.com/learner-codec/autoprom_sam.