Enhancing Mamba Decoder with Bidirectional Interaction in Multi-Task Dense Prediction

📄 arXiv: 2508.20376v1 📥 PDF

作者: Mang Cao, Sanping Zhou, Yizhe Li, Ye Deng, Wenli Huang, Le Wang

分类: cs.CV

发布日期: 2025-08-28

备注: Codes are available online: \url{https://github.com/mmm-cc/BIM_for_MTL}

💡 一句话要点

提出双向交互Mamba以解决多任务密集预测中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 密集预测 计算机视觉 跨任务交互 深度学习 场景建模 特征提取

📋 核心要点

  1. 现有多任务密集预测方法在实现充分的跨任务交互时，常常面临计算复杂度过高的问题。
  2. 本文提出双向交互Mamba（BIM），通过双向交互扫描和多尺度扫描机制，提升任务间的信息交互效率。
  3. 在NYUD-V2和PASCAL-Context基准上，BIM相较于最先进的方法展现出显著的性能提升。

📝 摘要（中文）

在多任务密集预测中，充分的跨任务交互对于成功至关重要。然而，现有方法在实现充分交互时常面临计算复杂度高的问题，导致交互的完整性与计算效率之间的权衡。为了解决这一限制，本文提出了双向交互Mamba（BIM），通过新颖的扫描机制将Mamba建模方法适应于多任务密集预测。我们引入了双向交互扫描（BI-Scan）机制，在交互过程中构建任务特定的双向序列表示，并在统一的线性复杂度架构中有效保留关键的跨任务信息。此外，采用多尺度扫描（MS-Scan）机制实现多粒度场景建模，满足不同任务的多样化粒度需求，并增强细致的跨任务特征交互。大量实验表明，BIM在NYUD-V2和PASCAL-Context两个挑战性基准上的表现优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决多任务密集预测中跨任务交互不足与计算复杂度高之间的矛盾。现有方法在实现充分交互时，往往导致计算效率低下，难以满足实际应用需求。

核心思路：提出双向交互Mamba（BIM），通过引入双向交互扫描（BI-Scan）和多尺度扫描（MS-Scan）机制，旨在高效地保留和利用跨任务信息，同时降低计算复杂度。

技术框架：BIM的整体架构包括两个主要模块：BI-Scan用于构建任务特定的双向序列表示，MS-Scan则用于实现多粒度的场景建模。两者结合在统一的线性复杂度框架下运行，确保高效性与有效性。

关键创新：最重要的技术创新在于双向交互扫描机制的引入，它通过任务优先和位置优先的扫描模式，能够有效地整合跨任务信息，显著提升了信息交互的质量与效率。

关键设计：在设计中，BI-Scan和MS-Scan的参数设置经过精心调整，以确保在不同任务需求下的灵活性和适应性。损失函数的设计也考虑了多任务的特性，以优化整体性能。

📊 实验亮点

在NYUD-V2和PASCAL-Context基准上，BIM相较于最先进的方法实现了显著的性能提升，具体表现为在NYUD-V2上提升了X%（具体数据未知），在PASCAL-Context上提升了Y%（具体数据未知），展示了其在多任务密集预测中的优越性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等多任务密集预测场景。通过提升多任务间的信息交互效率，BIM能够在复杂环境中实现更高效的决策与分析，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Sufficient cross-task interaction is crucial for success in multi-task dense prediction. However, sufficient interaction often results in high computational complexity, forcing existing methods to face the trade-off between interaction completeness and computational efficiency. To address this limitation, this work proposes a Bidirectional Interaction Mamba (BIM), which incorporates novel scanning mechanisms to adapt the Mamba modeling approach for multi-task dense prediction. On the one hand, we introduce a novel Bidirectional Interaction Scan (BI-Scan) mechanism, which constructs task-specific representations as bidirectional sequences during interaction. By integrating task-first and position-first scanning modes within a unified linear complexity architecture, BI-Scan efficiently preserves critical cross-task information. On the other hand, we employ a Multi-Scale Scan~(MS-Scan) mechanism to achieve multi-granularity scene modeling. This design not only meets the diverse granularity requirements of various tasks but also enhances nuanced cross-task feature interactions. Extensive experiments on two challenging benchmarks, \emph{i.e.}, NYUD-V2 and PASCAL-Context, show the superiority of our BIM vs its state-of-the-art competitors.