An Evolutionary Network Architecture Search Framework with Adaptive Multimodal Fusion for Hand Gesture Recognition

📄 arXiv: 2403.18208v1 📥 PDF

作者: Yizhang Xia, Shihao Song, Zhanglu Hou, Junwen Xu, Juan Zou, Yuan Liu, Shengxiang Yang

分类: cs.CV, cs.AI, cs.NE

发布日期: 2024-03-27

💡 一句话要点

提出自适应多模态融合的进化网络架构搜索框架以解决手势识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手势识别 多模态融合 进化网络架构 自适应学习 深度学习

📋 核心要点

  1. 现有的多模态手势识别方法依赖于大量的专家经验和手动调试，效率低下且不够灵活。
  2. 本文提出的AMF-ENAS框架通过自动搜索网络架构，优化多模态数据的融合位置和比例，提升了手势识别的效率和准确性。
  3. 实验结果显示，AMF-ENAS在多个数据集上表现优异，超越了现有的最先进方法，验证了其有效性。

📝 摘要（中文）

基于多模态数据的手势识别（HGR）因其在应用中的巨大潜力而受到广泛关注。尽管现有的手动设计的多模态深度网络在多模态HGR中表现良好，但大多数算法需要大量专家经验和耗时的手动试验。为了解决这些问题，本文提出了一种具有自适应多模态融合的进化网络架构搜索框架（AMF-ENAS）。该框架设计了一种编码空间，同时考虑多模态数据的融合位置和比例，允许通过解码自动构建不同架构的多模态网络。此外，框架考虑了三种输入流，分别对应于表面肌电图（sEMG）、加速度计（ACC）和sEMG-ACC的跨模态数据。实验结果表明，AMF-ENAS在Ninapro DB2、DB3和DB7数据集上达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态手势识别中现有方法对专家经验的依赖和手动调试的低效问题。现有算法在融合位置和比例的选择上缺乏自动化，导致性能不稳定。

核心思路：AMF-ENAS框架通过设计编码空间，自动化地搜索适合的网络架构，优化多模态数据的融合方式，从而提高手势识别的准确性和效率。

技术框架：该框架包括编码空间设计、解码过程和多模态网络构建三个主要模块。编码空间同时考虑了融合位置和比例，通过解码自动生成不同架构的网络。

关键创新：AMF-ENAS是首次在多模态手势识别中应用进化网络架构搜索（ENAS），有效解决了多模态数据融合位置和比例的选择问题，具有显著的创新性。

关键设计：框架设计了三种输入流，分别为sEMG、ACC和sEMG-ACC，采用自适应的损失函数和网络结构，确保了对不同数据集的自动适应性。具体的参数设置和网络结构设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Ninapro DB2、DB3和DB7数据集上的实验结果表明，AMF-ENAS达到了最先进的性能，具体提升幅度超过了现有方法，显示出其在多模态手势识别中的有效性和优越性。

🎯 应用场景

该研究具有广泛的应用前景，尤其在智能人机交互、虚拟现实和增强现实等领域。通过提升手势识别的准确性和效率，AMF-ENAS能够为各种应用提供更自然的交互方式，推动相关技术的发展与普及。

📄 摘要（原文）

Hand gesture recognition (HGR) based on multimodal data has attracted considerable attention owing to its great potential in applications. Various manually designed multimodal deep networks have performed well in multimodal HGR (MHGR), but most of existing algorithms require a lot of expert experience and time-consuming manual trials. To address these issues, we propose an evolutionary network architecture search framework with the adaptive multimodel fusion (AMF-ENAS). Specifically, we design an encoding space that simultaneously considers fusion positions and ratios of the multimodal data, allowing for the automatic construction of multimodal networks with different architectures through decoding. Additionally, we consider three input streams corresponding to intra-modal surface electromyography (sEMG), intra-modal accelerometer (ACC), and inter-modal sEMG-ACC. To automatically adapt to various datasets, the ENAS framework is designed to automatically search a MHGR network with appropriate fusion positions and ratios. To the best of our knowledge, this is the first time that ENAS has been utilized in MHGR to tackle issues related to the fusion position and ratio of multimodal data. Experimental results demonstrate that AMF-ENAS achieves state-of-the-art performance on the Ninapro DB2, DB3, and DB7 datasets.