MambaHand: Local Identity and Behavioral Sequence Learning with Mamba for Dynamic Hand Gesture Authentication

📄 arXiv: 2611.04626v1 📥 PDF

作者: Zenan Lin, Junduan Huang, Xilai Wang, Wenxiong Kang

分类: cs.CV

发布日期: 2026-11-03

💡 一句话要点

提出MambaHand以解决动态手势认证中的身份与行为序列学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 动态手势认证 生物特征识别 卷积神经网络 行为序列学习 双流学习 Mamba模型 身份验证

📋 核心要点

  1. 现有动态手势认证方法主要依赖卷积网络或手动设计的运动表示，难以同时捕捉局部身份差异和长程行为依赖。
  2. 本文提出MambaHand Net框架，结合卷积网络与Mamba，通过双流学习局部身份和行为序列。
  3. 在SCUT-DHGA基准数据集上，MambaHand实现了最先进的性能，展示了其在动态手势认证中的有效性。

📝 摘要（中文）

动态手势认证（DHGA）是一种新兴的生物特征识别技术，结合了生理和行为身份特征。然而，现有方法主要依赖卷积网络或手动设计的运动表示，难以同时捕捉手势执行过程中的细粒度局部身份差异和长程行为依赖。为了解决这些挑战，本文提出了一种双流身份表示学习框架MambaHand Net，将卷积神经网络与Mamba结合。该框架包括局部身份流（LIS）和行为序列流（BSS），LIS通过卷积网络提取逐帧局部身份线索，而BSS则通过构建一阶和二阶时间差序列来建模多阶行为变化。最终，采用注意力引导的空间标记聚合和双流融合策略，将局部身份线索和多阶行为模式整合为判别性身份表示。实验结果表明，该方法在SCUT-DHGA基准数据集上实现了最先进的平均性能。

🔬 方法详解

问题定义：本文旨在解决动态手势认证中，现有方法无法有效捕捉局部身份差异与长程行为依赖的问题。现有技术多依赖于卷积网络，缺乏对手势执行过程的全面理解。

核心思路：提出MambaHand Net框架，通过双流结构同时学习局部身份特征和行为序列，利用Mamba模型增强对空间位置的语义运动建模。

技术框架：MambaHand Net由局部身份流（LIS）和行为序列流（BSS）组成。LIS使用卷积网络提取局部身份线索，BSS则构建时间差序列以捕捉行为变化。

关键创新：引入双流学习框架和Mamba模型，能够有效整合局部身份信息与多阶行为模式，显著提升动态手势认证的准确性。

关键设计：采用注意力机制进行空间标记聚合，设计了双流融合策略，以优化局部身份与行为模式的整合，具体的损失函数和网络结构细节在论文中详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

在SCUT-DHGA基准数据集上，MambaHand实现了最先进的平均性能，具体提升幅度达到XX%（具体数据未知），相较于基线方法表现出显著优势，验证了其在动态手势认证中的有效性。

🎯 应用场景

该研究的潜在应用领域包括安全认证、智能家居控制和人机交互等。通过提高动态手势认证的准确性和可靠性，MambaHand可以在多个行业中实现更安全的身份验证，提升用户体验。未来，该技术可能推动更多生物特征识别技术的应用与发展。

📄 摘要（原文）

Dynamic hand gesture authentication (DHGA) is an emerging biometric technique that contains both physiological and behavioral identity characteristics. However, existing methods primarily rely on convolutional networks or manually designed motion representations, making it difficult to jointly capture fine-grained local identity differences and long-range behavioral dependencies during hand gesture execution. To address these challenges, we propose a two-stream identity representation learning framework, MambaHand Net, to combine CNNs with Mamba for DHGA. The proposed framework consists of a Local Identity Stream (LIS) and a Behavioral Sequential Stream (BSS). The LIS extracts frame-wise local identity cues with a convolutional network, while the BSS preserves spatial tokens from intermediate visual features and constructs first-order and second-order temporal difference sequences to model multi-order behavioral variations. Moreover, the bidirectional Mamba is incorporated into the BSS to model semantic motion across different spatial locations, enabling efficient long-range modeling of hand gesture execution habits. Finally, attention-guided spatial token aggregation and a two-stream fusion strategy are used to integrate local identity cues and multi-order behavioral patterns into a discriminative identity representation. Our method achieves state-of-the-art (SOTA) average performance on the SCUT-DHGA benchmark dataset, demonstrating that combining CNNs with Mamba is an effective new solution for DHGA.