HARMamba: Efficient and Lightweight Wearable Sensor Human Activity Recognition Based on Bidirectional Mamba

📄 arXiv: 2403.20183v3 📥 PDF

作者: Shuangjian Li, Tao Zhu, Furong Duan, Liming Chen, Huansheng Ning, Christopher Nugent, Yaping Wan

分类: cs.CV, cs.AI

发布日期: 2024-03-29 (更新: 2024-08-08)

💡 一句话要点

提出HARMamba以解决可穿戴传感器人类活动识别的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类活动识别 可穿戴传感器 深度学习 轻量级模型 资源优化 状态空间模型 实时处理

📋 核心要点

  1. 现有的时间深度学习模型在可穿戴传感器人类活动识别中存在计算和内存消耗大的问题，难以满足资源受限的应用需求。
  2. HARMamba通过结合选择性双向状态空间模型和硬件感知设计，采用线性递归机制和参数离散化来优化资源消耗。
  3. 在PAMAP2、WISDM、UNIMIB SHAR和UCI四个数据集上，HARMamba的F1分数分别为99.74%、99.20%、88.23%和97.01%，显示出优越的性能。

📝 摘要（中文）

基于可穿戴传感器的人类活动识别（HAR）是活动感知领域的重要研究方向。然而，实现高效和长序列识别仍然面临挑战。尽管已有多种时间深度学习模型的研究，但其庞大的参数量往往导致计算和内存的限制，使其不适合资源受限的移动健康应用。本研究提出了HARMamba，一种创新的轻量级HAR架构，结合了选择性双向状态空间模型和硬件感知设计。HARMamba通过线性递归机制和参数离散化优化实时资源消耗，能够有效聚焦相关输入序列，同时高效融合扫描和重新计算操作。该模型在四个公开数据集上进行了广泛验证，表现出色。

🔬 方法详解

问题定义：本论文旨在解决可穿戴传感器在人类活动识别中的高效性和长序列识别问题。现有方法由于参数量庞大，导致计算和内存消耗过高，难以应用于资源受限的移动健康场景。

核心思路：HARMamba的核心思路是通过选择性双向状态空间模型和硬件感知设计，结合线性递归机制和参数离散化，优化实时资源消耗，聚焦于相关输入序列。

技术框架：HARMamba的整体架构包括多个模块，首先将传感器数据流分为独立通道，然后将每个通道划分为多个补丁，并在序列末尾附加分类标记。接着，使用位置嵌入表示序列顺序，最后通过HARMamba Block处理补丁序列，输出活动类别。

关键创新：HARMamba的主要创新在于其轻量级设计和高效的特征提取能力，能够在减少计算和内存需求的同时，捕捉更具辨别力的活动序列特征。这与现有方法的重参数化和复杂结构形成鲜明对比。

关键设计：HARMamba采用了独立通道处理机制，线性递归机制和参数离散化等关键设计，确保了模型在实际应用中的高效性和准确性。

📊 实验亮点

HARMamba在四个公开数据集上的F1分数分别为99.74%、99.20%、88.23%和97.01%，显示出其在准确性上的竞争力。同时，相较于现有的最先进框架，HARMamba显著降低了计算和内存需求，展现出更优的实用性。

🎯 应用场景

HARMamba在可穿戴设备中的应用潜力巨大，尤其是在健康监测、运动分析和智能家居等领域。其高效的活动识别能力能够为用户提供实时反馈，改善健康管理和生活质量。未来，HARMamba有望在更广泛的移动健康应用中发挥重要作用。

📄 摘要（原文）

Wearable sensor-based human activity recognition (HAR) is a critical research domain in activity perception. However, achieving high efficiency and long sequence recognition remains a challenge. Despite the extensive investigation of temporal deep learning models, such as CNNs, RNNs, and transformers, their extensive parameters often pose significant computational and memory constraints, rendering them less suitable for resource-constrained mobile health applications. This study introduces HARMamba, an innovative light-weight and versatile HAR architecture that combines selective bidirectional State Spaces Model and hardware-aware design. To optimize real-time resource consumption in practical scenarios, HARMamba employs linear recursive mechanisms and parameter discretization, allowing it to selectively focus on relevant input sequences while efficiently fusing scan and recompute operations. The model employs independent channels to process sensor data streams, dividing each channel into patches and appending classification tokens to the end of the sequence. It utilizes position embedding to represent the sequence order. The patch sequence is subsequently processed by HARMamba Block, and the classification head finally outputs the activity category. The HARMamba Block serves as the fundamental component of the HARMamba architecture, enabling the effective capture of more discriminative activity sequence features. HARMamba outperforms contemporary state-of-the-art frameworks, delivering comparable or better accuracy with significantly reducing computational and memory demands. It's effectiveness has been extensively validated on 4 publically available datasets namely PAMAP2, WISDM, UNIMIB SHAR and UCI. The F1 scores of HARMamba on the four datasets are 99.74%, 99.20%, 88.23% and 97.01%, respectively.