Fusion-Mamba for Cross-modality Object Detection

📄 arXiv: 2404.09146v1 📥 PDF

作者: Wenhao Dong, Haodong Zhu, Shaohui Lin, Xiaoyan Luo, Yunhang Shen, Xuhui Liu, Juan Zhang, Guodong Guo, Baochang Zhang

分类: cs.CV, cs.AI

发布日期: 2024-04-14

期刊: IEEE Transactions on Multimedia, 2025

💡 一句话要点

提出Fusion-Mamba以解决跨模态目标检测中的融合性能问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态融合 目标检测 深度学习 特征融合 计算机视觉 Mamba模型 数据集评估

📋 核心要点

  1. 现有的跨模态融合方法未能有效考虑模态间的差异，导致融合性能不足。
  2. 本文提出Fusion-Mamba，通过改进的Mamba模型和门控机制，优化跨模态特征的融合过程。
  3. 在多个公共数据集上进行实验，结果显示所提方法在目标检测性能上显著优于现有最先进方法。

📝 摘要（中文）

跨模态融合通过有效整合不同模态的互补信息，显著提升目标检测性能，使其在更广泛的应用中更具实用性和鲁棒性。现有的融合策略往往忽视了模态差异对融合性能的影响，导致不同模态的特征难以有效融合。本文提出了一种改进的Mamba模型，结合门控机制，设计了Fusion-Mamba块（FMB），将跨模态特征映射到隐藏状态空间进行交互，从而减少模态间的差异，增强融合特征的表示一致性。通过在公共数据集上的广泛实验，所提方法在M^3FD和FLIR-Aligned数据集上分别提升了5.9%和4.9%的mAP，展示了卓越的目标检测性能。

🔬 方法详解

问题定义：本文旨在解决跨模态目标检测中，由于不同模态（如不同焦距、位置和角度的摄像头）导致的特征融合性能不足的问题。现有方法往往忽视了这些模态差异，影响了融合效果。

核心思路：提出Fusion-Mamba块（FMB），通过将跨模态特征映射到隐藏状态空间进行交互，减少模态间的差异，增强融合特征的表示一致性。FMB包含两个模块，分别用于浅层和深层特征的融合。

技术框架：整体架构包括Fusion-Mamba块，主要由状态空间通道交换（SSCS）模块和双状态空间融合（DSSF）模块组成。SSCS模块用于浅层特征的融合，而DSSF模块则实现深层特征的融合。

关键创新：本文首次将改进的Mamba模型应用于跨模态融合，提出了新的融合机制，显著提升了目标检测的性能。与现有方法相比，FMB在处理模态差异方面具有更好的效果。

关键设计：FMB的设计包括特征映射的参数设置、损失函数的选择，以及网络结构的优化，确保了不同模态特征的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提Fusion-Mamba方法在M^3FD数据集上提升了5.9%的mAP，在FLIR-Aligned数据集上提升了4.9%的mAP，显著优于现有的最先进方法，验证了其在跨模态目标检测中的有效性和优越性。

🎯 应用场景

该研究在智能监控、自动驾驶、机器人视觉等领域具有广泛的应用潜力。通过提升跨模态目标检测的性能，可以增强系统在复杂环境下的适应能力，提高安全性和效率，推动相关技术的进一步发展。

📄 摘要（原文）

Cross-modality fusing complementary information from different modalities effectively improves object detection performance, making it more useful and robust for a wider range of applications. Existing fusion strategies combine different types of images or merge different backbone features through elaborated neural network modules. However, these methods neglect that modality disparities affect cross-modality fusion performance, as different modalities with different camera focal lengths, placements, and angles are hardly fused. In this paper, we investigate cross-modality fusion by associating cross-modal features in a hidden state space based on an improved Mamba with a gating mechanism. We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction, thereby reducing disparities between cross-modal features and enhancing the representation consistency of fused features. FMB contains two modules: the State Space Channel Swapping (SSCS) module facilitates shallow feature fusion, and the Dual State Space Fusion (DSSF) enables deep fusion in a hidden state space. Through extensive experiments on public datasets, our proposed approach outperforms the state-of-the-art methods on $m$AP with 5.9% on $M^3FD$ and 4.9% on FLIR-Aligned datasets, demonstrating superior object detection performance. To the best of our knowledge, this is the first work to explore the potential of Mamba for cross-modal fusion and establish a new baseline for cross-modality object detection.