Reload-Mamba: Hierarchical Anti-Dilution State-Space Modeling for Multi-Class Semantic Segmentation

📄 arXiv: 2606.17966v1 📥 PDF

作者: Sheng-Wei Chan, Hsin-Jui Pan, Jen-Shiun Chiang

分类: cs.CV

发布日期: 2026-06-16

备注: 23 pages, 4 figures, 17 tables. Code will be released soon

💡 一句话要点

提出Reload-Mamba以解决多类语义分割中的响应稀释问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多类语义分割 状态空间模型 边界监督 类不确定性 深度学习

📋 核心要点

  1. 现有的Mamba状态空间模型在多类语义分割中存在响应稀释的问题，影响了边界和细节的准确性。
  2. 本文提出Reload-Mamba框架，通过边界监督、类不确定性感知的Reload Gate和分层Reload机制来恢复响应。
  3. Reload-Mamba在多个数据集上表现优异，ADE20K上提升了2.2 mIoU，相较于直接移植的基线有显著改进。

📝 摘要（中文）

基于Mamba的状态空间模型提供了高分辨率密集预测的线性时间长程建模能力，但顺序状态空间传播可能会削弱在多类语义分割中至关重要的边界和细节响应。为此，本文提出了Reload-Mamba框架，通过三个特定于分割的设计来解决这一传播引起的响应稀释问题：一是边界监督的局部细节先验，二是类不确定性感知的Reload Gate，三是分层多级Reload机制。基于ConvNeXt-Tiny编码器，Reload-Mamba在ADE20K和Cityscapes数据集上分别达到了47.9%和83.2%的mIoU，显示出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决多类语义分割中因顺序状态空间传播导致的响应稀释问题。现有方法在处理边界和细节时表现不佳，影响了分割精度。

核心思路：Reload-Mamba框架通过引入边界监督的局部细节先验、类不确定性感知的Reload Gate和分层Reload机制，旨在恢复被稀释的响应，提升分割效果。

技术框架：整体架构基于ConvNeXt-Tiny编码器，结合多尺度解码器和四方向Mamba扫描，采用像素级方向注意力机制。框架分为三个主要模块：局部细节恢复、类不确定性建模和分层响应融合。

关键创新：本文的创新在于提出了针对多类密集预测的Reload Gate和分层Reload机制，这些设计在响应恢复中起到了关键作用，与传统的二值化反稀释架构有本质区别。

关键设计：在损失函数设计上，采用了边界监督损失，Reload Gate通过引入每像素类熵作为额外的门控信号，分层机制则在三个解码器级别进行反稀释处理，确保信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Reload-Mamba在ADE20K数据集上达到了47.9%的单尺度mIoU，相较于基线提升了2.2 mIoU。在Cityscapes上，单尺度mIoU达到了83.2%，显示出其在高分辨率密集预测任务中的优越性能。

🎯 应用场景

该研究在自动驾驶、医学影像分析和智能监控等领域具有广泛的应用潜力。通过提高多类语义分割的精度，Reload-Mamba能够为这些领域提供更准确的场景理解和物体识别能力，推动相关技术的发展。

📄 摘要（原文）

Mamba-based state space models offer linear-time long-range modeling for high-resolution dense prediction, but sequential state-space propagation can attenuate boundary-sensitive and detail-sensitive responses that are critical in multi-class semantic segmentation. We propose Reload-Mamba, a semantic segmentation framework that addresses this propagation-induced response dilution through three segmentation-specific designs: (i) a boundary-supervised local detail prior that is explicitly trained with ground-truth boundary masks to identify regions requiring response restoration; (ii) a class-uncertainty-aware Reload Gate that incorporates per-pixel class entropy from a pre-reload auxiliary head as an additional gating signal, a formulation that is informative only under multi-class dense prediction; and (iii) a hierarchical multi-level Reload mechanism that applies anti-dilution refinement at three decoder levels and fuses the restored representations top-down. Built upon a ConvNeXt-Tiny encoder with a multi-scale decoder and four-directional Mamba scanning with pixel-wise directional attention, Reload-Mamba achieves 47.9% single-scale (48.9% multi-scale) mIoU on ADE20K and 83.2% single-scale mIoU on Cityscapes. With ResNet-101 + COCO pre-training under the standard DeepLab-style protocol, Reload-Mamba reaches 87.8% mIoU on PASCAL VOC 2012 val. Controlled ablations show that each of the three segmentation-specific designs contributes beyond a direct port of the prior anti-dilution architecture proposed for binarization, cumulatively improving over the direct-port baseline by +2.2 mIoU on ADE20K.