LASFNet: A Lightweight Attention-Guided Self-Modulation Feature Fusion Network for Multimodal Object Detection

📄 arXiv: 2506.21018v1 📥 PDF

作者: Lei Hao, Lina Xu, Chang Liu, Yanni Dong

分类: cs.CV

发布日期: 2025-06-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出LASFNet以简化多模态目标检测中的特征融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态目标检测 特征融合 轻量级网络 注意力机制 深度学习

📋 核心要点

  1. 现有多模态目标检测方法通常需要复杂的训练过程，导致计算开销大，效率低下。
  2. 本文提出LASFNet，通过单个特征级融合单元简化训练过程，并引入ASFF模块自适应调整特征响应。
  3. 在三个代表性数据集上的实验表明，LASFNet在减少参数和计算成本的同时，检测准确率有所提升。

📝 摘要（中文）

有效的深度特征提取通过特征级融合对多模态目标检测至关重要。然而，现有研究通常涉及复杂的训练过程，通过堆叠多个特征级融合单元来整合特定模态的特征，导致显著的计算开销。为了解决这一问题，本文提出了一种新的融合检测基线，使用单个特征级融合单元实现高性能检测，从而简化训练过程。基于此方法，本文提出了一种轻量级的注意力引导自调节特征融合网络（LASFNet），引入了一种新颖的注意力引导自调节特征融合（ASFF）模块，能够根据不同模态的注意力信息自适应调整融合特征的响应，促进全面和丰富的特征生成。实验结果表明，与最先进的方法相比，本文的方法在效率与准确性之间取得了良好的平衡，参数数量和计算成本分别降低了90%和85%，同时检测准确率提高了1%-3%。

🔬 方法详解

问题定义：本文旨在解决多模态目标检测中复杂的特征融合过程，现有方法通常通过堆叠多个特征级融合单元来整合模态特征，导致计算开销大且效率低下。

核心思路：提出LASFNet，利用单个特征级融合单元实现高性能检测，简化训练过程。同时，设计ASFF模块，根据不同模态的注意力信息自适应调整融合特征的响应。

技术框架：LASFNet整体架构包括特征提取、ASFF模块、轻量级特征注意力变换模块（FATM）等主要部分，确保特征融合的高效性和准确性。

关键创新：ASFF模块是本文的核心创新，通过注意力引导实现特征的自调节，显著提升了特征融合的效果，与现有方法相比具有本质区别。

关键设计：在网络结构上，FATM模块被设计在LASFNet的颈部，以增强对融合特征的关注，减少信息损失。具体参数设置和损失函数的选择也经过精心设计，以优化网络性能。

📊 实验亮点

实验结果显示，LASFNet在三个数据集上的检测准确率（mAP）提高了1%-3%，同时参数数量和计算成本分别降低了90%和85%。与最先进的方法相比，LASFNet在效率与准确性之间实现了良好的平衡。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等多模态目标检测场景。通过提高检测效率和准确性，LASFNet能够在实时应用中提供更好的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Effective deep feature extraction via feature-level fusion is crucial for multimodal object detection. However, previous studies often involve complex training processes that integrate modality-specific features by stacking multiple feature-level fusion units, leading to significant computational overhead. To address this issue, we propose a new fusion detection baseline that uses a single feature-level fusion unit to enable high-performance detection, thereby simplifying the training process. Based on this approach, we propose a lightweight attention-guided self-modulation feature fusion network (LASFNet), which introduces a novel attention-guided self-modulation feature fusion (ASFF) module that adaptively adjusts the responses of fusion features at both global and local levels based on attention information from different modalities, thereby promoting comprehensive and enriched feature generation. Additionally, a lightweight feature attention transformation module (FATM) is designed at the neck of LASFNet to enhance the focus on fused features and minimize information loss. Extensive experiments on three representative datasets demonstrate that, compared to state-of-the-art methods, our approach achieves a favorable efficiency-accuracy trade-off, reducing the number of parameters and computational cost by as much as 90% and 85%, respectively, while improving detection accuracy (mAP) by 1%-3%. The code will be open-sourced at https://github.com/leileilei2000/LASFNet.