Revisiting the Role of Foundation Models in Cell-Level Histopathological Image Analysis under Small-Patch Constraints -- Effects of Training Data Scale and Blur Perturbations on CNNs and Vision Transformers
作者: Hiroki Kagiyama, Toru Nagasaka, Yukari Adachi, Takaaki Tachibana, Ryota Ito, Mitsugu Fujita, Kimihiro Yamashita, Yoshihiro Kakeji
分类: cs.CV, q-bio.QM
发布日期: 2026-03-04
💡 一句话要点
针对小patch病理图像，任务特定CNN优于预训练模型，且数据量是关键
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 病理图像分析 细胞分类 小patch图像 预训练模型 Vision Transformer 数据规模 模糊鲁棒性
📋 核心要点
- 细胞级病理图像分析面临小patch（40x40像素）的挑战，现有方法难以确定预训练模型是否能有效学习鲁棒表示。
- 论文提出比较任务特定模型和预训练模型在小patch细胞分类任务中的性能，并分析数据规模和模糊扰动的影响。
- 实验结果表明，任务特定模型在足够数据下优于预训练模型，定制的Vision Transformer表现最佳，且预训练模型对模糊鲁棒性无明显优势。
📝 摘要（中文）
细胞级病理图像分析需要在极小的图像块（40x40像素）上进行，远低于标准的ImageNet分辨率。目前尚不清楚深度学习架构和预训练模型是否能在此约束下学习到鲁棒且可扩展的表示。本文系统地评估了小patch细胞分类中架构适用性和数据规模的影响。研究使用了303例结直肠癌标本，生成了185,432张带注释的细胞图像。从头训练了八个任务特定的架构，并评估了三种预训练模型，通过线性探测和微调，输入调整为224x224像素。使用预调整大小和后调整大小的高斯扰动评估了对模糊的鲁棒性。结果表明，任务特定模型随着数据规模的增加而持续改进，而预训练模型在适中的样本量下达到饱和。针对小patch优化的Vision Transformer (CustomViT) 实现了最高的准确率，优于所有预训练模型，且推理成本显著降低。不同架构的模糊鲁棒性相当，预训练模型没有表现出明显的优势。结论是，对于极端空间约束下的细胞级分类，一旦有足够的训练数据，任务特定的架构比预训练模型更有效和高效。更高的清晰度并不意味着更强的鲁棒性，大型预训练模型在小patch机制中提供的益处有限。
🔬 方法详解
问题定义：论文旨在解决细胞级病理图像分析中，在极小图像块（40x40像素）上进行有效分类的问题。现有方法，特别是依赖于大型预训练模型的方法，在小patch场景下的适用性和效率存在疑问，因为这些模型通常针对较大分辨率的图像进行训练，直接应用可能无法充分利用小patch中的信息，并且计算成本较高。
核心思路：论文的核心思路是通过系统性的实验比较任务特定模型和预训练模型在小patch细胞分类任务中的性能。通过控制训练数据规模和引入模糊扰动，评估不同架构的鲁棒性和泛化能力。特别关注针对小patch优化的Vision Transformer，并将其与标准预训练模型进行对比，以确定在小patch场景下是否需要专门设计的模型。
技术框架：整体框架包括以下几个主要步骤：1) 数据准备：收集并标注包含CD103/CD8免疫染色的结直肠癌细胞图像，生成小patch数据集（40x40像素）。2) 模型训练：从头训练多个任务特定CNN架构，并在不同数据规模下进行训练（FlagLimit: 256--16,384 samples per class）。3) 预训练模型评估：使用线性探测和微调的方式评估预训练模型，输入图像调整为224x224像素。4) 模糊鲁棒性评估：在预调整大小和后调整大小的图像上添加高斯模糊，评估模型对模糊扰动的鲁棒性。5) 性能比较：比较不同模型在准确率、推理成本和模糊鲁棒性方面的表现。
关键创新：论文的关键创新在于对预训练模型在小patch病理图像分析中的作用进行了重新评估。与通常认为预训练模型具有更强泛化能力的观点不同，论文发现，在足够训练数据的情况下，任务特定模型可以超越预训练模型，并且针对小patch优化的Vision Transformer表现最佳。此外，论文还发现，预训练模型在模糊鲁棒性方面并没有明显的优势。
关键设计：在模型设计方面，论文特别关注了针对小patch优化的Vision Transformer (CustomViT)。该模型可能采用了更小的patch size、更浅的网络深度或其他的针对小patch的优化策略。在训练过程中，论文使用了不同的数据规模，以评估数据规模对模型性能的影响。在模糊鲁棒性评估中，论文使用了高斯模糊作为扰动，并分别在预调整大小和后调整大小的图像上添加模糊，以评估模型对不同类型的模糊扰动的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，针对小patch优化的Vision Transformer (CustomViT) 在细胞分类任务中取得了最高的准确率，优于所有预训练模型，并且推理成本显著降低。任务特定模型随着数据规模的增加而持续改进，而预训练模型在适中的样本量下达到饱和。此外，预训练模型在模糊鲁棒性方面并没有表现出明显的优势。
🎯 应用场景
该研究成果可应用于细胞级病理图像分析，辅助医生进行癌症诊断和预后评估。通过优化模型结构和训练策略，可以提高小patch图像分类的准确性和效率，降低计算成本。未来的研究可以探索更有效的针对小patch的预训练方法，以及如何利用无监督学习来进一步提高模型的泛化能力。
📄 摘要（原文）
Background and objective: Cell-level pathological image analysis requires working with extremely small image patches (40x40 pixels), far below standard ImageNet resolutions. It remains unclear whether modern deep learning architectures and foundation models can learn robust and scalable representations under this constraint. We systematically evaluated architectural suitability and data-scale effects for small-patch cell classification. Methods: We analyzed 303 colorectal cancer specimens with CD103/CD8 immunostaining, generating 185,432 annotated cell images. Eight task-specific architectures were trained from scratch at multiple data scales (FlagLimit: 256--16,384 samples per class), and three foundation models were evaluated via linear probing and fine-tuning after resizing inputs to 224x224 pixels. Robustness to blur was assessed using pre- and post-resize Gaussian perturbations. Results: Task-specific models improved consistently with increasing data scale, whereas foundation models saturated at moderate sample sizes. A Vision Transformer optimized for small patches (CustomViT) achieved the highest accuracy, outperforming all foundation models with substantially lower inference cost. Blur robustness was comparable across architectures, with no qualitative advantage observed for foundation models. Conclusion: For cell-level classification under extreme spatial constraints, task-specific architectures are more effective and efficient than foundation models once sufficient training data are available. Higher clean accuracy does not imply superior robustness, and large pre-trained models offer limited benefit in the small-patch regime.