Semantic-Guided Multimodal Preprocessing for Vision Transformer-Based Clear Cell Renal Cell Carcinoma Grading

📄 arXiv: 2609.01426v1 📥 PDF

作者: Fatemeh Javadian, Zhu Chen, Zahra Aminparast, Johannes Stegmaier

分类: cs.CV, cs.AI, cs.LG, eess.IV

发布日期: 2026-09-01

备注: 12 pages, 3 Figures, COMPAYL++ MICCAI 2026

💡 一句话要点

提出语义引导的多模态预处理方法以解决CCRCC分级问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 清细胞肾细胞癌 多模态预处理 视觉变换器 细胞核分类 语义引导 肿瘤分级 组织病理图像

📋 核心要点

  1. 现有方法要么直接分析图像块，要么仅关注细胞核级别分类，未能有效连接到最终的肿瘤分级。
  2. 本文提出的语义引导多模态预处理方法，通过结合细胞核分类图和RGB图像，增强了ViT的分级能力。
  3. 实验结果显示，语义引导增强方法的平衡准确率达到0.916，相较于传统方法有显著提升，且在扰动下表现出良好的鲁棒性。

📝 摘要（中文）

清细胞肾细胞癌（CCRCC）的分级对于治疗规划至关重要，但现有方法要么直接分析图像块，要么仅关注细胞核级别的分类，未能与最终肿瘤分级相结合。本文提出了一种语义引导的多模态预处理方法，将现有预训练模型的细胞核分类图与RGB组织病理图像结合，用于基于视觉变换器（ViT）的CCRCC分级。通过分类图通道连接和乘法调制，优化叠加以利用细胞核分级信息，同时保留RGB纹理特征。多种预处理策略的评估表明，语义引导增强实现了0.916的平衡准确率，显著优于RGB单一基线（0.707）和先前研究的最大投票聚合（0.427）。灵敏度分析显示，在模拟扰动下，该21个百分点的提升仍然存在，表明了有效的语义利用和实际的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决清细胞肾细胞癌（CCRCC）分级中现有方法的不足，尤其是缺乏将细胞核级别分析与最终肿瘤分级相结合的有效策略。

核心思路：提出一种语义引导的多模态预处理方法，通过将细胞核分类图与RGB组织病理图像结合，利用细胞核的分级信息来增强ViT的分级性能。

技术框架：整体架构包括细胞核分类图的通道连接、乘法调制和优化叠加，旨在同时保留细胞核信息和RGB纹理特征。

关键创新：最重要的创新在于通过语义引导的方式实现多模态融合，突破了以往方法在细胞核级别和肿瘤分级之间的隔阂。

关键设计：在参数设置上，采用了优化的叠加策略，损失函数设计上注重细胞核信息的有效利用，网络结构则基于ViT进行调整以适应多模态输入。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，语义引导增强方法的平衡准确率达到0.916，显著高于RGB单一基线的0.707和先前研究的最大投票聚合的0.427，表明该方法在细胞核信息利用和鲁棒性方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括肿瘤病理学的自动化分析和临床决策支持系统。通过提高CCRCC分级的准确性，能够为患者提供更为精准的治疗方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Clear cell renal cell carcinoma (CCRCC) grading is essential for treatment planning, yet existing approaches either analyze patch-level images directly or focus solely on nuclei-level classification, without linking to final tumor grading. We propose a semantic-guided multimodal preprocessing method that integrates nuclei classification maps from existing pre-trained models with RGB histopathology images for Vision Transformer (ViT)-based CCRCC grading. Our approach employs classification map channel concatenation and multiplicative modulation, with optimized overlays to leverage nuclei grading information, while preserving RGB textural features. Evaluation of multiple preprocessing strategies demonstrates that semantic-guided enhancement achieves 0.916 balanced accuracy, outperforming RGB-only baseline (0.707) and max-voting aggregation from prior studies (0.427). Sensitivity analysis reveals that this 21 percentage point improvement over baseline persists even under simulated perturbation at rates matching current state-of-the-art nuclei classification model error thresholds, suggesting both effective semantic utilization and practical robustness. These findings show that preprocessing-based multimodal fusion can leverage the diagnostic potential of existing imperfect nuclei classifiers, effectively bridging previously isolated fine-grained nuclear-level analysis with coarse-grained ViT-based patch classification. Per-class recall was consistent across grades (0.93, 0.91, 0.91), indicating that gains are not concentrated in the majority class. Because the sensitivity analysis perturbs ground-truth maps rather than predictions from an actual nuclei model, this result characterizes robustness under simulated error rather than deployment with a real upstream model, which remains for future work.