Dual Sparse Aggregation Transformer for Multispectral Object Detection

📄 arXiv: 2606.31015v1 📥 PDF

作者: Wencong Wu, Xiuwei Zhang, Hanlin Yin, Hongxi Zhang, Yanning Zhang

分类: cs.CV

发布日期: 2026-06-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出双稀疏聚合变换器以解决多光谱目标检测中的冗余信息问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多光谱目标检测 变换器 稀疏聚合 跨模态融合 特征精炼 深度学习

📋 核心要点

  1. 现有的变换器基础多光谱检测方法在相似度计算中使用所有标记，导致冗余信息交互，影响检测性能。
  2. 提出的双稀疏聚合变换器（DSAFormer）通过稀疏机制选择性捕捉跨模态信息，提升目标检测效果。
  3. 实验结果显示，DSAFormer在MFAD、FLIR、M$^3$FD和LLVIP等四个公共数据集上表现优异，超越了现有方法。

📝 摘要（中文）

基于变换器的方法在多光谱目标检测任务中表现出色，因其能够建模长距离依赖关系并捕捉互补信息。然而，现有方法往往使用所有可用的标记进行相似度计算，导致来自无关区域的冗余信息交互，从而降低检测性能。为了解决这一挑战，本文提出了一种新颖的双稀疏聚合变换器（DSAFormer），由双稀疏变换器（DSFormer）和可学习加法融合块（LAFB）组成。DSFormer通过空间和通道稀疏多头交叉注意力机制，选择性捕捉跨模态关系，提升检测性能。实验结果表明，DSAFormer在多个公共数据集上优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决多光谱目标检测中冗余信息交互导致的性能下降问题。现有方法在相似度计算中使用所有标记，造成无关区域的信息干扰。

核心思路：提出双稀疏聚合变换器（DSAFormer），通过空间和通道稀疏机制选择性捕捉高相似度的跨模态信息，从而提升检测性能。

技术框架：DSAFormer由双稀疏变换器（DSFormer）和可学习加法融合块（LAFB）组成。DSFormer包含空间稀疏多头交叉注意力机制（SSMHCA）、通道稀疏多头交叉注意力机制（CSMHCA）和多尺度特征精炼层（MSFRL）。LAFB用于有效融合多模态特征。

关键创新：最重要的创新在于引入了SSMHCA和CSMHCA机制，分别在空间和通道层面进行稀疏计算，显著减少冗余信息交互，提升特征表示能力。

关键设计：在SSMHCA中，仅保留高查询-键相似度的标记，CSMHCA则在通道层面进行类似的稀疏计算。MSFRL用于聚合层次特征，LAFB通过特征重加权实现模态间信息的有效融合。实验中使用的损失函数和网络结构经过精心设计，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSAFormer在MFAD、FLIR、M$^3$FD和LLVIP等四个公共数据集上均取得了优于现有最先进方法的检测性能，具体提升幅度达到X%（具体数据待补充）。

🎯 应用场景

该研究在多光谱目标检测领域具有广泛的应用潜力，尤其是在遥感图像分析、无人驾驶汽车的环境感知以及安防监控等场景中。通过提升检测性能，DSAFormer能够为相关行业提供更高效的解决方案，推动智能化技术的发展。

📄 摘要（原文）

Transformer-based approaches have obtained excellent performance in multispectral object detection tasks due to their ability to model long-range dependencies and capture complementary information. However, previous transformer-based multispectral detection methods tend to use all available tokens for similarity calculation, which results in redundant information interaction from irrelevant areas, leading to degraded detection performance. To overcome this challenge, we propose a novel Dual Sparse Aggregation Transformer (DSAFormer) for multispectral object detection, which consists of a Dual Sparse Transformer (DSFormer) and a Learnable Addition Fusion Block (LAFB). Specifically, the DSFormer is designed to exploit and boost cross-modal complementary information, thereby improving detection performance. It incorporates three key components: A Spatial Sparse Multi-Head Cross-Attention (SSMHCA) mechanism selectively captures cross-modal relationships at the spatial level by reserving only the high query-key similarity scores, eliminating irrelevant interactions. A Channel Sparse Multi-Head Cross-Attention (CSMHCA) mechanism performs similar sparse calculations at the channel level to enhance feature representation and filter out low matching query-key. A Multi-Scale Feature Refinement Layer (MSFRL) is developed to aggregate hierarchical features and suppress redundant information. To effectively fuse multimodal features, the LAFB is introduced to aggregate intramodal and intermodal feature information by feature reweighting. Extensive experimental results have demonstrated that our proposed DSAFormer achieves better detection performance against state-of-the-art methods on four public datasets, including the MFAD, FLIR, M$^3$FD, and LLVIP. The source code of our DSAFormer will be released at https://github.com/WenCongWu/DSAFormer.