Million-scale multimodal pollen microscopy with expert-guided foundation models
作者: András Biricz, Björn Gedda, Donát Magyar, Antonio Spanu, János Fillinger, Péter Pollner, István Csabai
分类: cs.CV
发布日期: 2026-06-16
备注: 31 pages, 5 main figures, supplementary information included. Submitted to Scientific Reports
💡 一句话要点
提出百万规模多模态花粉显微镜资源以解决自动化识别瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 花粉识别 多模态学习 显微镜图像 视觉-语言模型 生态监测 数据集构建 自动化识别
📋 核心要点
- 现有的花粉识别方法在样本准备和地理来源的多样性面前表现不佳，导致自动化识别的准确性和可解释性不足。
- 本文提出的Pollen AI Atlas资源通过结合多种地理来源和扫描设置，利用专家指导的模型生成结构化描述，提升了花粉识别的准确性。
- 实验结果显示，Gemma4模型在生成描述方面表现最佳，基线准确率达到88.16%，并在跨区域检索中保持了较高的鲁棒性。
📝 摘要（中文）
自动化花粉识别在气生物学、古生态学和生物多样性监测中仍然是一个瓶颈，因为可扩展系统必须在样本准备、扫描仪设置和地理来源之间进行泛化，同时保持花粉学的可解释性。为了解决这一问题，本文提出了百万规模的多模态花粉显微镜资源Pollen AI Atlas，该资源由来自四个地理来源、四种扫描仪设置和46个分类标签的纯种全切片明场图像组成。通过手动选择每个源切片的一个示例，进行标记级别的挖掘和过滤，最终产生了1,511,390个释放的花粉颗粒检测，专家验证的测试区域中提案精度达到99.6%。每个检测都与来自五个开放权重视觉-语言模型生成的颗粒级形态描述相结合，提供了关于孔系统、壁装饰、形状和大小的结构化描述。
🔬 方法详解
问题定义：本文旨在解决自动化花粉识别中的可扩展性和准确性问题，现有方法在不同样本准备和地理来源下的泛化能力不足，影响了识别效果和可解释性。
核心思路：通过构建一个包含百万级多模态花粉显微镜图像的资源，结合专家验证的形态描述，提升花粉识别的准确性和可解释性。
技术框架：整体架构包括数据收集、标记级别挖掘与过滤、模型训练和描述生成等多个模块。数据集涵盖不同地理来源和扫描设置，确保了多样性和代表性。
关键创新：最重要的创新在于结合了专家指导的视觉-语言模型生成结构化描述，显著提高了识别的准确性和可解释性，与传统方法相比，提供了更丰富的形态信息。
关键设计：在模型训练中，采用了五个开放权重的视觉-语言模型，并通过专家验证的花粉学锚点进行指导，确保生成的描述在长度控制和信息完整性方面达到最佳效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemma4模型在生成描述方面表现最佳，提供了最优的描述集，基线准确率达到88.16%。在跨区域检索中，基于描述生成的文本嵌入在图像相似性降低时仍保持鲁棒性，mAP@20达到0.811，相较于0.262的基线表现显著提升。
🎯 应用场景
该研究的潜在应用领域包括气生物学、古生态学和生物多样性监测等，能够为科学研究提供高效的花粉识别工具，促进生态环境监测和生物多样性保护的进展。未来，该技术可能在其他生物样本的自动化识别中得到推广，具有广泛的实际价值。
📄 摘要（原文）
Automated pollen identification from microscopy remains a bottleneck in aerobiology, palaeoecology and biodiversity monitoring, because scalable systems must generalise across specimen preparation, scanner settings and geographic origins while retaining palynological interpretability. To address this gap, we present a million-scale multimodal pollen microscopy resource, Pollen AI Atlas, assembled from pure-species whole-slide bright-field images spanning four geographic origins, four scanner settings and 46 taxon labels across 31 botanical families. Seeded by one manually selected exemplar per source slide, token-level mining and filtering produced 1,511,390 released grain detections with 99.6\% proposal precision in expert-curated test regions. Each detection was paired with machine-generated grain-level morphological captions from five open-weight vision-language models, guided by expert-verified palynological anchors, yielding structured descriptions of aperture systems, wall ornamentation, shape and size. Among the evaluated models, Gemma4 provided the most controlled primary caption set, combining tight length control, no leakage and the strongest text-retrieval performance. Baseline benchmarks with frozen visual features reached 88.16\% top-1 accuracy, while cross-regional retrieval showed that caption-derived text embeddings remained robust when image similarity degraded (mAP@20 0.811 versus 0.262). Released data, annotations, captions, splits, code, and weights provide a benchmark for pollen recognition, cross-regional domain adaptation and domain-specific multimodal microscopy learning.