Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification

📄 arXiv: 2608.26771v1 📥 PDF

作者: Zibo Zhou, Zongsen Qiu, Rui Chen, Yujie Yao, Yue Zhou, Jianjun Wang

分类: cs.CV

发布日期: 2026-08-27

💡 一句话要点

提出跨架构知识蒸馏方法以提升茶叶病害分类精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 视觉模型 茶叶病害分类 边缘计算 自监督学习

📋 核心要点

  1. 现有的茶叶病害分类模型在边缘设备上部署时面临计算资源不足的问题，导致准确性下降。
  2. 本文提出通过跨架构知识蒸馏，从大型视觉基础模型DINOv2向轻量级视觉状态空间模型进行知识转移，以提高模型性能。
  3. 实验结果表明，经过知识蒸馏后，轻量模型的测试准确率从92.32%提升至95.41%，实现了显著的性能提升。

📝 摘要（中文）

自动化茶叶病害分类支持精准农业，但在边缘设备上部署准确模型面临挑战。自监督视觉基础模型如DINOv2提供强大的特征，但体积过大，不适合现场部署，而从小型农业数据集训练的轻量模型往往表现不佳。本文研究了从微调的DINOv2教师模型（视觉变换器）到紧凑的双向视觉状态空间模型（LVSSM）学生模型的跨架构知识蒸馏，解决了训练稳定性问题。通过逐步卷积干和门控双向选择扫描块，学生模型在参数量减少的同时，准确率显著提升，达到了95.41%。

🔬 方法详解

问题定义：本文旨在解决茶叶病害分类模型在边缘设备上部署时的计算资源限制和准确性不足的问题。现有的自监督模型如DINOv2虽然性能优越，但体积庞大，不适合现场应用，而轻量模型往往因数据不足而表现不佳。

核心思路：论文提出了一种跨架构知识蒸馏的方法，通过从微调的DINOv2教师模型向紧凑的LVSSM学生模型转移知识，克服了不同架构间的特征学习障碍。该方法通过改进训练过程，确保学生模型在有限数据上稳定学习。

技术框架：整体架构包括教师模型DINOv2和学生模型LVSSM。教师模型负责生成高质量的特征表示，而学生模型则通过知识蒸馏学习这些特征。训练过程中，采用逐步卷积干和门控双向选择扫描块来增强学生模型的学习能力。

关键创新：论文的主要创新在于解决了从零开始训练的学生模型在有限数据上学习时的稳定性问题，特别是通过优化大补丁嵌入卷积和融合层设计，确保了残差路径的完整性。

关键设计：在模型设计中，学生模型的参数量仅为教师模型的五分之一（4.45M vs 22M），但仍能保持98.3%的准确率。实验中发现，简单的logit级蒸馏配置效果最佳，而中间特征对齐损失反而降低了准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，经过知识蒸馏后，学生模型的测试准确率从92.32%提升至95.41%，实现了3.09个百分点的平均增益。该模型在参数量上减少了5倍，同时保持了98.3%的准确性，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括农业监测和病害管理，能够在资源有限的边缘设备上实现高效的茶叶病害分类。这将为精准农业提供支持，帮助农民及时识别和处理病害，提高作物产量和质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Automated tea leaf disease classification supports precision agriculture, yet deploying accurate models on edge devices remains challenging under tight compute budgets. Self-supervised vision foundation models such as DINOv2 provide strong features but are too large for field deployment, while lightweight models trained from scratch on small agricultural datasets often underfit. We study cross-architecture knowledge distillation (KD) from a fine-tuned DINOv2 teacher (Vision Transformer) to a compact bidirectional Visual State Space Model (LVSSM) student, an underexplored direction because the architectures use fundamentally different token-mixing mechanisms. We identify and fix two training-stability problems that prevent the from-scratch SSM student from learning on limited data: a single large patch-embedding convolution and a fusion layer that severs the residual path. With a progressive convolutional stem and gated bidirectional selective-scan block, the 4.45M-parameter student trains stably. Across three seeds, temperature-scaled logit distillation raises test accuracy from 92.32+/-2.14% to 95.41+/-1.17% (best single run: 96.20%; macro-F1: 94.45%), a +3.09 percentage-point mean gain. The student uses 5.0 times fewer parameters than the 22M-parameter teacher while retaining 98.3% of its accuracy. Ablations show that intermediate feature-alignment losses reduce accuracy, making simple logit-level KD the strongest configuration. A fair from-scratch comparison shows the gain is specific to students that start below the teacher. We report per-class metrics, confusion matrices, bootstrap confidence intervals, and FLOPs/latency measurements, and discuss limitations including the single-dataset scope and simplified non-official SSM implementation.