DGMamba: Domain Generalization via Generalized State Space Model
作者: Shaocong Long, Qianyu Zhou, Xiangtai Li, Xuequan Lu, Chenhao Ying, Yuan Luo, Lizhuang Ma, Shuicheng Yan
分类: cs.CV
发布日期: 2024-04-11 (更新: 2024-08-22)
备注: Accepted to ACM MM 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出DGMamba以解决领域泛化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 领域泛化 状态空间模型 深度学习 计算机视觉 模型泛化 图像处理 语义理解
📋 核心要点
- 现有领域泛化方法多依赖于CNN或ViT，面临感受野有限和复杂度高的问题。
- DGMamba通过引入隐藏状态抑制和语义感知补丁精炼，增强了模型对未见领域的泛化能力。
- 在五个领域泛化基准上，DGMamba的表现显著优于当前最先进的模型，验证了其有效性。
📝 摘要（中文）
领域泛化（DG）旨在解决各种场景中的分布偏移问题。现有方法主要基于卷积神经网络（CNN）或视觉变换器（ViT），存在感受野有限或复杂度过高的问题。Mamba作为一种新兴的状态空间模型（SSM），具有线性复杂度和全局感受野的优势。然而，由于隐藏状态问题和不适当的扫描机制，Mamba在DG中的应用受到限制。本文提出了一种名为DGMamba的新框架，能够在面对未见领域时展现出强大的泛化能力，同时具备全局感受野和高效的线性复杂度。DGMamba包含两个核心组件：隐藏状态抑制（HSS）和语义感知补丁精炼（SPR）。HSS旨在减轻与领域特定特征相关的隐藏状态对输出预测的影响，而SPR则鼓励模型更关注对象而非背景。通过在五个常用DG基准上的广泛实验，DGMamba在性能上显著优于现有最先进模型。
🔬 方法详解
问题定义：本文旨在解决领域泛化中的分布偏移问题。现有方法在处理隐藏状态和扫描机制时存在不足，限制了其在新领域的适应能力。
核心思路：DGMamba的核心思路是通过隐藏状态抑制（HSS）和语义感知补丁精炼（SPR）来提高模型的泛化能力。HSS减少了领域特定特征对输出的干扰，而SPR则使模型更专注于对象而非背景。
技术框架：DGMamba的整体架构由HSS和SPR两个主要模块组成。HSS模块通过抑制隐藏状态的影响来优化输出，而SPR模块则通过优先无关扫描和领域上下文互换来增强模型的语义理解。
关键创新：DGMamba的关键创新在于引入了HSS和SPR两个新组件，特别是优先无关扫描（PFS）和领域上下文互换（DCI），使得模型能够更灵活地处理图像中的非语义补丁。与传统方法相比，这种设计显著提高了模型的泛化能力。
关键设计：在DGMamba中，PFS通过打乱图像中的非语义补丁来生成更灵活的序列，而DCI则通过融合不同领域的补丁来正则化模型。具体的损失函数和网络结构设计尚未详细说明，待进一步研究。
🖼️ 关键图片
📊 实验亮点
在五个领域泛化基准上，DGMamba的性能显著优于现有最先进模型，具体提升幅度达到XX%。这些实验结果表明，DGMamba在处理未见领域时展现出卓越的泛化能力，验证了其设计的有效性。
🎯 应用场景
DGMamba的研究成果在多个领域具有潜在应用价值，包括计算机视觉、自动驾驶、医疗影像分析等。其强大的领域泛化能力能够帮助模型在不同场景中保持高效的性能，推动智能系统的广泛应用。未来，DGMamba可能会在跨域学习和迁移学习等领域发挥重要作用。
📄 摘要（原文）
Domain generalization~(DG) aims at solving distribution shift problems in various scenes. Existing approaches are based on Convolution Neural Networks (CNNs) or Vision Transformers (ViTs), which suffer from limited receptive fields or quadratic complexities issues. Mamba, as an emerging state space model (SSM), possesses superior linear complexity and global receptive fields. Despite this, it can hardly be applied to DG to address distribution shifts, due to the hidden state issues and inappropriate scan mechanisms. In this paper, we propose a novel framework for DG, named DGMamba, that excels in strong generalizability toward unseen domains and meanwhile has the advantages of global receptive fields, and efficient linear complexity. Our DGMamba compromises two core components: Hidden State Suppressing~(HSS) and Semantic-aware Patch refining~(SPR). In particular, HSS is introduced to mitigate the influence of hidden states associated with domain-specific features during output prediction. SPR strives to encourage the model to concentrate more on objects rather than context, consisting of two designs: Prior-Free Scanning~(PFS), and Domain Context Interchange~(DCI). Concretely, PFS aims to shuffle the non-semantic patches within images, creating more flexible and effective sequences from images, and DCI is designed to regularize Mamba with the combination of mismatched non-semantic and semantic information by fusing patches among domains. Extensive experiments on five commonly used DG benchmarks demonstrate that the proposed DGMamba achieves remarkably superior results to state-of-the-art models. The code will be made publicly available at https://github.com/longshaocong/DGMamba.