SigFormer: Sparse Signal-Guided Transformer for Multi-Modal Human Action Segmentation

📄 arXiv: 2311.17428v2 📥 PDF

作者: Qi Liu, Xinchen Liu, Kun Liu, Xiaoyan Gu, Wu Liu

分类: cs.CV, cs.AI

发布日期: 2023-11-29 (更新: 2024-08-26)

🔗 代码/项目: GITHUB

💡 一句话要点

提出SigFormer以解决多模态人类动作分割中的稀疏信号融合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态融合 人类动作分割 稀疏信号 Transformer 掩码注意力 边界信息 深度学习

📋 核心要点

  1. 现有方法主要依赖于密集信号，未能充分利用稀疏信号，导致动作分割精度不足。
  2. 本文提出SigFormer，通过掩码注意力机制有效融合密集和稀疏信号，并强调时间边界信息。
  3. 实验结果显示，SigFormer在多模态动作分割任务中取得了0.958的F1分数，显著优于现有方法。

📝 摘要（中文）

多模态人类动作分割是一项关键且具有挑战性的任务，广泛应用于各个领域。目前，大多数方法集中于密集信号（如RGB、光流和深度图）的融合，而稀疏物联网传感器信号的潜在贡献尚未得到充分探索。为此，本文提出了一种稀疏信号引导的Transformer（SigFormer），旨在结合密集和稀疏信号。我们采用掩码注意力机制，通过限制交叉注意力在稀疏信号有效区域内来融合局部特征。由于稀疏信号是离散的，缺乏足够的时间动作边界信息，因此在SigFormer中，我们在两个阶段强调边界信息。实验结果表明，SigFormer在真实工业环境的多模态动作分割数据集上超越了现有最先进的方法，达到了0.958的F1分数。

🔬 方法详解

问题定义：本文旨在解决多模态人类动作分割中稀疏信号融合不足的问题。现有方法主要依赖于密集信号，未能充分利用稀疏信号，导致动作分割精度不足。

核心思路：论文的核心思路是引入稀疏信号引导的Transformer（SigFormer），通过掩码注意力机制有效融合密集和稀疏信号，并在特征提取阶段强调时间边界信息，以提高分割精度。

技术框架：SigFormer的整体架构包括两个主要阶段：特征提取和信号融合。在特征提取阶段，使用中间瓶颈模块联合学习密集模态的类别和边界特征；在信号融合阶段，采用双分支架构建模动作类别与时间边界之间的关系。

关键创新：最重要的技术创新点在于引入了稀疏信号的掩码注意力机制和中间瓶颈模块，使得模型能够有效处理稀疏信号的离散性，并强调时间边界信息。这与现有方法的主要区别在于对稀疏信号的有效利用。

关键设计：在设计中，采用了特定的损失函数来联合学习类别和边界特征，并通过双分支架构明确建模类别与边界的关系。模型的参数设置经过精心调整，以确保在多模态数据集上的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SigFormer在真实工业环境的多模态动作分割数据集上取得了0.958的F1分数，显著超越了现有最先进的方法，展示了其在处理稀疏信号方面的优越性，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景。通过有效融合稀疏和密集信号，SigFormer能够在复杂环境中实现更准确的人类动作识别，提升自动化系统的智能水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-modal human action segmentation is a critical and challenging task with a wide range of applications. Nowadays, the majority of approaches concentrate on the fusion of dense signals (i.e., RGB, optical flow, and depth maps). However, the potential contributions of sparse IoT sensor signals, which can be crucial for achieving accurate recognition, have not been fully explored. To make up for this, we introduce a Sparse signalguided Transformer (SigFormer) to combine both dense and sparse signals. We employ mask attention to fuse localized features by constraining cross-attention within the regions where sparse signals are valid. However, since sparse signals are discrete, they lack sufficient information about the temporal action boundaries. Therefore, in SigFormer, we propose to emphasize the boundary information at two stages to alleviate this problem. In the first feature extraction stage, we introduce an intermediate bottleneck module to jointly learn both category and boundary features of each dense modality through the inner loss functions. After the fusion of dense modalities and sparse signals, we then devise a two-branch architecture that explicitly models the interrelationship between action category and temporal boundary. Experimental results demonstrate that SigFormer outperforms the state-of-the-art approaches on a multi-modal action segmentation dataset from real industrial environments, reaching an outstanding F1 score of 0.958. The codes and pre-trained models have been available at https://github.com/LIUQI-creat/SigFormer.