A Hybrid Framework of Vision Transformer and Gated Recurrent Unit for Detection of Mosquito Diseases

📄 arXiv: 2608.11582v1 📥 PDF

作者: Danial Sharifrazi, Saadat Behzadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

分类: cs.CV, cs.AI

发布日期: 2026-08-12

💡 一句话要点

提出混合框架结合视觉变换器与门控循环单元以检测蚊子疾病

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉变换器 门控循环单元 蚊子疾病检测 YOLO模型 特征提取 卷积神经网络 公共卫生监测

📋 核心要点

  1. 现有方法在复杂背景下难以准确识别感染登革热的蚊子，导致特征提取不准确。
  2. 本文提出的三步框架通过YOLO模型、视觉变换器和ConvGRU分类器有效解决了这一问题。
  3. 实验结果显示，ConvGRU模型在多个指标上均优于传统模型，表现出色。

📝 摘要（中文）

识别感染登革热病毒的蚊子是分析蚊子运动行为的一大挑战，尤其是在复杂背景下。传统的人工智能方法往往无法准确提取视频帧中的特征，导致错误的特征提取。本文提出了一种三步框架：首先使用YOLO 11M模型识别蚊子并去除背景；其次利用视觉变换器（ViT）提取视觉特征；最后使用卷积GRU（ConvGRU）分类器对视频进行分类。通过与RNN、LSTM、GRU及其卷积版本的比较分析，ConvGRU模型表现最佳，达到了88.88%的准确率、84.45%的精确率、82.82%的召回率和82.81%的F1分数。这些结果表明，结合卷积模型与基于序列的网络，尤其是ConvGRU模型，能够同时提取精确的空间特征和长期的时间依赖性，为复杂环境下的蚊子行为分析提供了可靠的解决方案。

🔬 方法详解

问题定义：本文旨在解决在复杂背景下识别感染登革热病毒的蚊子这一具体问题。现有方法在特征提取上存在不足，导致识别准确率低下。

核心思路：论文提出的解决方案是构建一个三步框架，结合YOLO模型、视觉变换器和卷积GRU分类器，以提高特征提取的准确性和分类性能。

技术框架：整体架构包括三个主要模块：第一步使用YOLO 11M模型进行蚊子识别和背景去除；第二步利用视觉变换器（ViT）提取视频帧中的视觉特征；第三步采用卷积GRU（ConvGRU）对提取的特征进行分类。

关键创新：最重要的技术创新在于将卷积模型与序列模型相结合，特别是ConvGRU模型，能够同时捕捉空间特征和时间依赖性，显著提升了识别性能。

关键设计：在模型设计中，ConvGRU的结构经过优化，以适应视频数据的特性，损失函数选择了适合分类任务的交叉熵损失，确保了模型训练的有效性。实验中对比了多种模型，验证了ConvGRU的优越性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，ConvGRU模型在准确率上达到了88.88%，在精确率、召回率和F1分数上也表现优异，分别为84.45%、82.82%和82.81%。与其他模型相比，ConvGRU在特征提取和分类性能上均有显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括公共卫生监测、疾病传播预警以及蚊子行为研究等。通过准确识别感染蚊子，可以为疾病控制和预防提供数据支持，具有重要的实际价值和社会影响。

📄 摘要（原文）

Identifying dengue virus-infected mosquitoes from control mosquitoes is a major challenge in analyzing mosquito locomotion behavior due to the small size and complexity of the video background. Conventional AI methods are often unable to extract accurate features from video frames and produce erroneous features. In this study, a three-step framework is introduced: first, mosquitoes are identified and the background is removed using the YOLO 11M model, then visual features are extracted using the Vision Transformer (ViT), and finally the videos are classified with a convolutional GRU (ConvGRU) classifier. A comparative analysis of different models, including Recurrent Neural Network (RNN), Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and their convolutional versions showed that the ConvGRU model achieved the best performance; it achieved 88.88% accuracy, 84.45% precision, 82.82% recall, and 82.81% F1 score. These results demonstrate that combining convolutional models with sequence-based networks, especially in the ConvGRU model, allows the simultaneous extraction of precise spatial features and long-term temporal dependencies from mosquito movements. Finally, the proposed framework provides a reliable solution for analyzing mosquito behavior in complex environments.