Multibranch Ensemble Head in Vision Foundation Models for Efficient Cucumber Phenological Stage Classification

📄 arXiv: 2610.37118v1 📥 PDF

作者: Kostiantyn Khabarlak

分类: cs.CV

发布日期: 2026-10-27

期刊: CEUR Workshop Proceedings, Vol. 4300, pp. 251-262 (2026)

DOI: 10.83095/ceurws_04300_018

💡 一句话要点

提出多分支集成头以解决小样本领域迁移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 自监督学习 植物生长阶段 小样本学习 精准农业 多分支集成头 深度学习 特征迁移

📋 核心要点

  1. 现有的视觉基础模型在小样本领域迁移任务中表现不佳，尤其是在植物生长阶段分类中，面临特征适应性不足的问题。
  2. 本文提出了一种多分支集成头，通过随机采样和概率空间平均的方式，结合低高容量分支，提升模型在小样本数据集上的表现。
  3. 在NALEF食品安全数据集上，DINOv2 ViT-S与多分支头的Macro F1达0.978，Cohen's Kappa为0.971，性能与更大模型相当，且计算资源需求低。

📝 摘要（中文）

视觉基础模型（VFM）通过自监督学习预训练，如DINOv2，提供了高度可迁移的特征，但在小型领域迁移数据集上的适应性仍然具有挑战性。本文提出了一种正则化的多分支集成头：一种训练和推理方案，结合低容量和高容量分支，在每个训练步骤中随机采样单个分支，并在推理时在概率空间中对两个分支进行平均。该设计几乎不增加参数，并且在推理时几乎没有额外开销，同时在数据稀缺条件下改善了准确性与效率的权衡。准确分类植物生长阶段对于精准农业至关重要，能够及时做出施肥、灌溉和收获的决策。本文以黄瓜的生长阶段分类为案例，评估了多种骨干网络，提出的DINOv2 ViT-S与多分支头在性能上与参数和GFlops超过十倍的模型相匹配，且仅需12.2 GFlops和22.3M参数，适合在智能手机和边缘设备上部署。

🔬 方法详解

问题定义：本文旨在解决视觉基础模型在小样本领域迁移任务中的适应性不足问题，尤其是在植物生长阶段分类中，现有方法难以处理花果被叶片遮挡和叶片形态细微变化的情况。

核心思路：提出的多分支集成头通过结合低容量和高容量分支，随机选择分支进行训练，并在推理时对两个分支的输出进行概率空间平均，从而提高模型的准确性和效率。

技术框架：整体架构包括两个主要分支：一个低容量分支和一个高容量分支。在训练过程中，随机选择其中一个分支进行更新，而在推理阶段则对两个分支的输出进行加权平均。

关键创新：该方法的创新在于通过多分支结构实现了在保持低计算开销的同时，显著提升了模型在小样本数据集上的性能，解决了传统单一重参数头的局限性。

关键设计：在参数设置上，模型仅需22.3M参数和12.2 GFlops，损失函数采用标准交叉熵损失，网络结构基于DINOv2 ViT，确保了在保持高效性的同时，能够处理复杂的植物生长阶段分类任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NALEF食品安全数据集上，提出的DINOv2 ViT-S与多分支头模型实现了Macro F1得分0.978和Cohen's Kappa 0.971，性能与参数和计算量超过十倍的模型相当，展示了在小样本条件下的优越性。

🎯 应用场景

该研究的潜在应用领域包括精准农业、植物生长监测和农业自动化等。通过准确识别植物生长阶段，农民可以更有效地进行施肥、灌溉和收获决策，从而提高农业生产效率和资源利用率。未来，该技术有望推广至其他作物的生长监测和管理中。

📄 摘要（原文）

Vision Foundation Models (VFMs) pretrained with self-supervised learning, such as DINOv2, provide highly transferable features, yet adapting them to small, domain-shifted datasets is still challenging. We propose a regularizing multibranch ensemble head: a training and inference scheme that pairs low- and high-capacity branches, samples a single branch stochastically at each training step, and averages both branches in probability space at inference. The design adds negligible parameters and essentially no inference overhead over a single heavy head, while improving the accuracy-efficiency trade-off under data-scarce conditions. Accurate classification of plant growth stages is critical for precision agriculture, enabling timely decisions on fertilization, irrigation, and harvesting. Therefore, as a challenging practical case we use cucumber phenological stage classification, in which flowers and fruits are frequently occluded by foliage, and stage transitions manifest primarily as subtle changes in leaf morphology. The NALEF Food Safety dataset contains images of five cucumber growth stages captured under diverse real-world conditions. On it we evaluate a broad range of backbones, including DINOv2 and DINOv3 ViT and ConvNeXt variants, against strongly supervised counterparts (ResNet, EfficientNet, ViT). The proposed DINOv2 ViT-S with multibranch head achieves a Macro F1 of 0.978 and Cohen's Kappa of 0.971, matching the performance of models more than ten times larger in parameters and GFlops, while requiring only 12.2 GFlops and 22.3M parameters, making it deployable on smartphones and edge devices for phenological stage classification.