Mamba-FETrack: Frame-Event Tracking via State Space Model

📄 arXiv: 2404.18174v1 📥 PDF

作者: Ju Huang, Shiao Wang, Shuai Wang, Zhe Wu, Xiao Wang, Bo Jiang

分类: cs.CV, cs.AI

发布日期: 2024-04-28

备注: In Peer Review

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mamba-FETrack以解决RGB-Event跟踪中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: RGB-Event跟踪 状态空间模型 多模态融合 计算效率 特征提取 深度学习 目标定位

📋 核心要点

  1. 现有RGB-Event跟踪方法通常依赖于复杂的Transformer网络，导致高内存消耗和计算复杂性。
  2. 本文提出Mamba-FETrack框架，基于状态空间模型，通过模态特定的主干网络提取特征，降低计算成本。
  3. 实验结果显示，Mamba-FETrack在SR/PR指标上分别达到43.5/55.6，相较于基线方法显著提升，且资源消耗大幅降低。

📝 摘要（中文）

RGB-Event基于事件的跟踪是一个新兴研究领域，旨在有效整合异构多模态数据（同步曝光视频帧和异步脉冲事件流）。现有方法通常采用基于Transformer的网络进行输入级或特征级融合，尽管在多个数据集上取得了不错的准确性，但由于自注意力机制的使用，这些跟踪器消耗了大量内存和计算资源。本文提出了一种新颖的RGB-Event跟踪框架Mamba-FETrack，基于状态空间模型（SSM）实现高性能跟踪，同时有效降低计算成本。我们采用两种特定模态的Mamba主干网络提取RGB帧和事件流的特征，并通过Mamba网络增强RGB与事件特征之间的交互学习。大量实验验证了我们提出的跟踪器的效率和有效性。

🔬 方法详解

问题定义：本文旨在解决RGB-Event跟踪中计算复杂性高和内存消耗大的问题。现有方法多依赖于自注意力机制，导致资源消耗过大。

核心思路：提出Mamba-FETrack框架，利用状态空间模型（SSM）进行高效跟踪，采用模态特定的主干网络提取特征，增强RGB与事件特征之间的交互学习。

技术框架：整体架构包括两个模态特定的Mamba主干网络，分别用于提取RGB帧和事件流的特征，融合后的特征输入跟踪头进行目标定位。

关键创新：Mamba-FETrack通过状态空间模型实现了高效的多模态融合，显著降低了计算复杂性，与传统基于Transformer的方法相比，内存和计算需求大幅减少。

关键设计：在网络结构上，采用了模态特定的主干网络，并设计了特定的损失函数以促进RGB与事件特征的交互，确保了特征融合的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mamba-FETrack在SR/PR指标上分别达到43.5/55.6，相较于基于ViT-S的OSTrack（40.0/50.9）有显著提升。同时，GPU内存消耗从15.44GB降低至13.98GB，FLOPs和参数量分别减少约94.5%和88.3%。

🎯 应用场景

该研究在自动驾驶、智能监控和机器人视觉等领域具有广泛的应用潜力。通过高效的RGB-Event跟踪，能够提升目标检测和跟踪的实时性和准确性，推动多模态数据融合技术的发展。未来，该框架有望在更复杂的动态环境中实现更高效的跟踪性能。

📄 摘要（原文）

RGB-Event based tracking is an emerging research topic, focusing on how to effectively integrate heterogeneous multi-modal data (synchronized exposure video frames and asynchronous pulse Event stream). Existing works typically employ Transformer based networks to handle these modalities and achieve decent accuracy through input-level or feature-level fusion on multiple datasets. However, these trackers require significant memory consumption and computational complexity due to the use of self-attention mechanism. This paper proposes a novel RGB-Event tracking framework, Mamba-FETrack, based on the State Space Model (SSM) to achieve high-performance tracking while effectively reducing computational costs and realizing more efficient tracking. Specifically, we adopt two modality-specific Mamba backbone networks to extract the features of RGB frames and Event streams. Then, we also propose to boost the interactive learning between the RGB and Event features using the Mamba network. The fused features will be fed into the tracking head for target object localization. Extensive experiments on FELT and FE108 datasets fully validated the efficiency and effectiveness of our proposed tracker. Specifically, our Mamba-based tracker achieves 43.5/55.6 on the SR/PR metric, while the ViT-S based tracker (OSTrack) obtains 40.0/50.9. The GPU memory cost of ours and ViT-S based tracker is 13.98GB and 15.44GB, which decreased about $9.5\%$. The FLOPs and parameters of ours/ViT-S based OSTrack are 59GB/1076GB and 7MB/60MB, which decreased about $94.5\%$ and $88.3\%$, respectively. We hope this work can bring some new insights to the tracking field and greatly promote the application of the Mamba architecture in tracking. The source code of this work will be released on \url{https://github.com/Event-AHU/Mamba_FETrack}.