MAMBA: Multi-level Aggregation via Memory Bank for Video Object Detection

📄 arXiv: 2401.09923v2 📥 PDF

作者: Guanxiong Sun, Yang Hua, Guosheng Hu, Neil Robertson

分类: cs.CV

发布日期: 2024-01-18 (更新: 2024-02-01)

备注: update code url https://github.com/guanxiongsun/vfe.pytorch

期刊: In Proceedings of the AAAI Conference on Artificial Intelligence 2021 (Vol. 35, No. 3, pp. 2620-2627)

DOI: 10.1609/aaai.v35i3.16365

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAMBA以解决视频目标检测中的内存结构效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频目标检测 内存结构 特征增强 多层聚合 轻量级设计 实时监控 自动驾驶

📋 核心要点

  1. 现有视频目标检测方法的内存结构效率低下，导致计算成本高和时间信息捕捉不足。
  2. MAMBA通过轻量级关键集构建和细粒度特征更新策略，优化内存使用，提升特征增强效果。
  3. 在ImageNetVID数据集上，MAMBA实现了83.7/84.6%的mAP，速度达到12.6/9.1 FPS，显著优于现有方法。

📝 摘要（中文）

现有的视频目标检测方法通过滑动窗口或内存队列维护内存结构，以增强当前帧的特征。然而，这些内存结构存在效率低下和不足的问题，主要体现在特征拼接导致的高计算成本和逐帧内存更新限制了时间信息的捕捉。为此，本文提出了一种名为MAMBA的多层聚合架构，通过轻量级的关键集构建和细粒度的特征更新策略，显著降低计算成本并利用整个视频的知识。此外，本文还提出了一种通用增强操作（GEO）来统一聚合多层特征。实验结果表明，MAMBA在ImageNetVID数据集上取得了优异的性能，速度和准确性均优于现有方法。

🔬 方法详解

问题定义：本文旨在解决现有视频目标检测方法中内存结构的效率问题，主要包括特征拼接导致的高计算成本和逐帧内存更新限制了时间信息的捕捉。

核心思路：MAMBA通过引入轻量级的关键集构建和细粒度的特征更新策略，旨在降低计算负担并充分利用视频的时间信息，从而提升检测性能。

技术框架：MAMBA的整体架构包括内存银行模块、关键集构建模块和通用增强操作（GEO）。内存银行用于存储和更新特征，关键集构建模块负责生成轻量级的特征集，而GEO则用于聚合不同层次的特征。

关键创新：MAMBA的主要创新在于其轻量级关键集构建和细粒度特征更新策略，这与传统方法的逐帧更新和全特征拼接形成了鲜明对比，显著提高了内存使用效率和特征增强效果。

关键设计：在设计中，MAMBA采用了特定的参数设置以优化内存银行的性能，损失函数则结合了多层特征的增强需求，网络结构上则基于ResNet-101进行了改进，以适应视频目标检测的需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MAMBA在ImageNetVID数据集上取得了83.7/84.6%的mAP，分别在12.6/9.1 FPS的速度下运行，显示出在速度和准确性上的显著提升，优于现有的最先进方法，证明了其有效性和实用性。

🎯 应用场景

MAMBA在视频目标检测领域具有广泛的应用潜力，尤其是在实时监控、自动驾驶和视频分析等场景中。其高效的内存管理和特征增强能力能够显著提升系统的响应速度和检测准确性，未来可能推动相关技术的进一步发展和应用。

📄 摘要（原文）

State-of-the-art video object detection methods maintain a memory structure, either a sliding window or a memory queue, to enhance the current frame using attention mechanisms. However, we argue that these memory structures are not efficient or sufficient because of two implied operations: (1) concatenating all features in memory for enhancement, leading to a heavy computational cost; (2) frame-wise memory updating, preventing the memory from capturing more temporal information. In this paper, we propose a multi-level aggregation architecture via memory bank called MAMBA. Specifically, our memory bank employs two novel operations to eliminate the disadvantages of existing methods: (1) light-weight key-set construction which can significantly reduce the computational cost; (2) fine-grained feature-wise updating strategy which enables our method to utilize knowledge from the whole video. To better enhance features from complementary levels, i.e., feature maps and proposals, we further propose a generalized enhancement operation (GEO) to aggregate multi-level features in a unified manner. We conduct extensive evaluations on the challenging ImageNetVID dataset. Compared with existing state-of-the-art methods, our method achieves superior performance in terms of both speed and accuracy. More remarkably, MAMBA achieves mAP of 83.7/84.6% at 12.6/9.1 FPS with ResNet-101. Code is available at https://github.com/guanxiongsun/vfe.pytorch.