SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology

📄 arXiv: 2606.17702v1 📥 PDF

作者: Wan Siti Halimatul Munirah Wan Ahmad, Faris Syahmi Samidi, Mohammad Badal Ahmmed, Vimal Angela Thiviyanathan, Selvam James Thavaraj, Anwar P. P. Abdul Majeed

分类: cs.CV, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出SEGTME-UNI2框架以解决肿瘤微环境表征问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肿瘤微环境 细胞分割 特征提取 伪标签 深度学习 病理图像分析 空间生物学

📋 核心要点

  1. 现有方法在肿瘤微环境表征中面临细胞分割和特征提取的挑战，尤其是在缺乏高质量像素级注释的情况下。
  2. 提出的SEGTME-UNI2框架结合了强大的基础模型和双头分割结构，通过渐进伪标签策略提升分割精度。
  3. 初步实验结果表明，该框架在PanNuke和TCGA-UT数据集上表现出良好的可行性和一致性，支持大规模TME分析。

📝 摘要（中文）

肿瘤微环境（TME）的表征需要从常规的H&E染色组织学图像中进行细胞分割、特征提取和可解释的临床报告。本文提出了SEGTME-UNI2，一个统一框架来满足这些需求。其核心是UNI2-UPERHOVER，一个双头分割模型，结合了UNI2-H病理基础模型（ViT-Giant，预训练于超过1亿个切片）和两个并行的UperNet解码器：一个用于六类语义分割，另一个用于水平-垂直梯度回归以实现基于分水岭的核实例分离。为了解决大型真实世界数据库中缺乏像素级注释的问题，UNI2-UPERHOVER经历了三阶段的渐进伪标签课程。初步验证显示该框架的可行性和内部一致性。

🔬 方法详解

问题定义：本文旨在解决从H&E染色组织学图像中准确表征肿瘤微环境（TME）的问题。现有方法在细胞分割和特征提取方面存在不足，尤其是在缺乏高质量像素级注释的情况下，导致模型性能受限。

核心思路：SEGTME-UNI2框架的核心思路是结合强大的基础模型和双头分割结构，通过渐进伪标签策略逐步提升模型的分割精度，确保在缺乏标注数据的情况下仍能有效学习。

技术框架：该框架由UNI2-UPERHOVER模型组成，包含两个并行的UperNet解码器：一个用于六类语义分割，另一个用于核实例分离。模型训练分为三个阶段，逐步使用伪标签提高分割质量。

关键创新：最重要的创新在于采用了渐进伪标签课程，通过逐步提高伪标签质量来训练模型，解决了大规模数据集中的标注不足问题。这一方法显著提升了分割精度和模型的泛化能力。

关键设计：模型使用了ViT-Giant作为基础模型，经过在超过1亿个切片的预训练。训练过程中，采用了人类注释的PanNuke数据集、TCGA-UT数据集的伪标签，确保每个阶段的伪标签质量逐步提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

初步实验结果显示，SEGTME-UNI2框架在PanNuke和TCGA-UT数据集上表现出良好的分割效果，尤其是在使用伪标签的不同阶段中，模型的性能逐步提升，验证了框架的有效性和一致性。

🎯 应用场景

该研究的潜在应用领域包括肿瘤微环境的分析、病理图像的自动化处理以及临床决策支持。通过提供可解释的TME叙述，能够帮助医生更好地理解肿瘤的生物学特性，从而优化治疗方案。未来，该框架有望在大规模空间生物学研究中发挥重要作用。

📄 摘要（原文）

Characterising the tumour microenvironment (TME) from routine H&E-stained histology images requires simultaneous cell segmentation, feature extraction, and interpretable clinical reporting. We present SEGTME-UNI2, a unified framework addressing these requirements. Its core is UNI2-UPERHOVER, a dual-head segmentation model pairing the UNI2-H pathology foundation model (ViT-Giant, pretrained on >100M tiles from 100K slides) with two parallel UperNet decoders: one for six-class semantic segmentation and one for horizontal-vertical gradient regression enabling watershed-based nuclear instance separation. To address the lack of pixel-level annotations in large real-world repositories, UNI2-UPERHOVER undergoes a three-stage progressive pseudo-label curriculum. Each stage trains a fresh model without weight transfer, driving improvement entirely via increased pseudo-label quality: Stage 1: Uses human-annotated PanNuke (7,901 images, 189,744 nuclei, 0.25 um/pixel). Stage 2: Uses entropy-filtered pseudo-labels from the Stage 1 model on 271,711 TCGA-UT scale-0 patches (0.5 um/pixel). Stage 3: Uses pseudo-labels from the Stage 2 model on all 1,608,060 TCGA-UT patches across six resolution scales (0.5-1.0 um/pixel). Segmentation outputs feed a structured TME feature extraction pipeline computing 20+ per-patch compositional, morphological, spatial entropy, and intercellular distance metrics. These are encoded as JSON and passed to a fine-tuned NVIDIA BioNeMo GPT model to generate clinically interpretable TME narratives. Preliminary validation on held-out PanNuke and TCGA-UT partitions demonstrates framework feasibility and internal consistency. The pseudo-labelled TCGA-UT dataset and UNI2-UPERHOVER checkpoint are publicly released to support large-scale TME profiling and spatial biology research.