Res-VMamba: Fine-Grained Food Category Visual Classification Using Selective State Space Models with Deep Residual Learning

📄 arXiv: 2402.15761v3 📥 PDF

作者: Chi-Sheng Chen, Guan-Ying Chen, Dong Zhou, Di Jiang, Dai-Shi Chen

分类: cs.CV, cs.AI

发布日期: 2024-02-24 (更新: 2024-09-06)

备注: 14 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Res-VMamba以解决细粒度食品分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 食品分类 细粒度特征 残差学习 状态空间模型 计算营养学 深度学习 图像识别

📋 核心要点

  1. 现有的食品分类方法在细粒度特征学习上存在不足，尤其是在计算效率和模型复杂性方面。
  2. 本文提出了Res-VMamba模型，结合了Mamba机制与残差学习框架，以同时利用全局和局部状态特征。
  3. 实验结果显示，Res-VMamba在CNFOOD-241数据集上实现了79.54%的分类准确率，超越了当前的最先进模型。

📝 摘要（中文）

食品分类是食品视觉任务发展的基础，对计算营养学领域至关重要。由于食品的复杂性，现有研究主要通过修改卷积神经网络（CNN）和视觉变换器（ViT）进行分类。然而，CNN需要额外的结构设计以学习细粒度特征，而ViT则增加了计算复杂性。本文引入了一种新的序列状态空间模型Mamba，并将其机制整合到图像任务中，提出了Res-VMamba模型。研究结果表明，Res-VMamba在细粒度和食品分类上超越了现有的最先进模型，分类准确率达到79.54%。

🔬 方法详解

问题定义：本文旨在解决食品分类中的细粒度特征学习问题。现有的CNN和ViT方法在处理复杂食品图像时，往往面临结构设计不足和计算复杂性高的挑战。

核心思路：论文提出的Res-VMamba模型通过整合Mamba机制与残差学习，能够有效提取食品图像中的全局和局部特征，从而提升分类性能。

技术框架：Res-VMamba模型的整体架构包括输入图像处理、特征提取模块（结合Mamba机制）、残差学习模块和最终的分类层。该框架旨在优化特征学习过程，提升模型的分类能力。

关键创新：最重要的创新在于将Mamba机制与残差学习相结合，形成了一种新的模型架构，显著提高了细粒度食品分类的准确性和计算效率。

关键设计：模型采用了特定的损失函数以优化分类性能，并在网络结构中引入了多层残差连接，以增强特征传递和学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Res-VMamba在CNFOOD-241数据集上的分类准确率达到79.54%，显著超越了现有的最先进模型。这一成果不仅展示了模型在细粒度分类上的优势，也为食品视觉任务设立了新的基准。

🎯 应用场景

该研究的潜在应用领域包括食品识别、营养分析和智能饮食推荐等。通过提高食品分类的准确性，Res-VMamba能够为相关行业提供更为精准的数据支持，推动计算营养学的发展。未来，该模型还可扩展至其他视觉分类任务，具有广泛的应用前景。

📄 摘要（原文）

Food classification is the foundation for developing food vision tasks and plays a key role in the burgeoning field of computational nutrition. Due to the complexity of food requiring fine-grained classification, recent academic research mainly modifies Convolutional Neural Networks (CNNs) and/or Vision Transformers (ViTs) to perform food category classification. However, to learn fine-grained features, the CNN backbone needs additional structural design, whereas ViT, containing the self-attention module, has increased computational complexity. In recent months, a new Sequence State Space (S4) model, through a Selection mechanism and computation with a Scan (S6), colloquially termed Mamba, has demonstrated superior performance and computation efficiency compared to the Transformer architecture. The VMamba model, which incorporates the Mamba mechanism into image tasks (such as classification), currently establishes the state-of-the-art (SOTA) on the ImageNet dataset. In this research, we introduce an academically underestimated food dataset CNFOOD-241, and pioneer the integration of a residual learning framework within the VMamba model to concurrently harness both global and local state features inherent in the original VMamba architectural design. The research results show that VMamba surpasses current SOTA models in fine-grained and food classification. The proposed Res-VMamba further improves the classification accuracy to 79.54\% without pretrained weight. Our findings elucidate that our proposed methodology establishes a new benchmark for SOTA performance in food recognition on the CNFOOD-241 dataset. The code can be obtained on GitHub: https://github.com/ChiShengChen/ResVMamba.