LayoutMamba: Efficient Document Layout Analysis with Hybrid Mamba-Transformer Networks

📄 arXiv: 2610.34879v1 📥 PDF

作者: Kehua Chen, Mingyi Chen

分类: cs.CV

发布日期: 2026-10-26

备注: 12 pages, 2 figures, 4 tables

💡 一句话要点

提出LayoutMamba以解决文档布局分析中的效率与精度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文档布局分析 Transformer 稀疏注意力 状态空间模型 几何重叠惩罚损失 高效建模 边缘计算 信息提取

📋 核心要点

  1. 现有文档布局分析方法在捕捉局部细节与全局建模之间存在权衡，限制了在资源受限场景中的应用。
  2. LayoutMamba通过结合稀疏注意力Transformer和Mamba机制，提供了一种高效的局部特征提取与长距离依赖建模的解决方案。
  3. 在PubLayNet和D4LA数据集上的实验表明，LayoutMamba在准确性和参数效率上均优于现有方法，展现出卓越的性能。

📝 摘要（中文）

文档布局分析（DLA）面临长期困境：现有方法要么以高昂的计算成本捕捉丰富的局部细节（如基于Transformer的方法），要么实现高效的全局建模却牺牲细粒度的结构意识（如状态空间模型）。为此，本文提出LayoutMamba，一个混合框架，结合稀疏注意力Transformer进行局部特征提取和Mamba的递归状态空间机制进行长距离依赖建模。我们的两阶段范式首先使用轻量级Transformer编码器层次提取显著的局部语义；其次，Mamba在不稀释注意力的情况下传播全局上下文依赖，确保精确、高效和可扩展的布局理解。此外，我们提出了一种新的几何重叠惩罚损失（GOPLoss），以解决现有DLA基准中布局对象的低重叠分布偏差。实验结果表明，LayoutMamba在PubLayNet上超越了现有最先进的AP，参数量减少8倍，并在D4LA上保持领先表现，展现了准确性、效率和可扩展性的前所未有的平衡。

🔬 方法详解

问题定义：本文旨在解决文档布局分析中的效率与精度问题，现有方法在局部细节捕捉与全局建模之间存在显著的权衡，导致在资源受限环境中的应用受限。

核心思路：LayoutMamba的核心思路是通过混合使用稀疏注意力Transformer和Mamba机制，分别实现高效的局部特征提取和长距离依赖建模，从而克服现有方法的局限性。

技术框架：LayoutMamba采用两阶段的处理流程：第一阶段使用轻量级Transformer编码器提取局部语义，第二阶段通过Mamba机制传播全局上下文依赖，确保信息的有效传递。

关键创新：本文的关键创新在于提出了GOPLoss损失函数，旨在减少冗余的边界框重叠并鼓励几何一致的预测，从而解决了现有DLA基准中布局对象的低重叠分布偏差问题。

关键设计：LayoutMamba的设计包括稀疏注意力机制的实现，Mamba的递归状态空间结构，以及GOPLoss的双重优化目标，这些设计共同提升了模型的效率和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，LayoutMamba在PubLayNet数据集上超越了现有最先进的AP，参数量减少了8倍，同时在D4LA上保持了领先表现，排名前3，展现了在准确性、效率和可扩展性之间的卓越平衡。

🎯 应用场景

LayoutMamba在文档布局分析中的应用潜力巨大，尤其适用于边缘计算和资源受限的环境。其高效的特征提取和长距离依赖建模能力，使其能够在实际文档处理、信息提取和自动化办公等领域发挥重要作用，推动相关技术的实际部署与应用。

📄 摘要（原文）

Document layout analysis (DLA) faces a long-standing dilemma: existing methods either capture rich local details at prohibitive computational cost (e.g., Transformer-based approaches with quadratic complexity) or achieve efficient global modeling but sacrifice fine-grained structural awareness (e.g., state-space models). This trade-off hinders deployment in resource-constrained scenarios. We present LayoutMamba, a hybrid framework that synergistically combines sparse-attention Transformers for localized feature extraction (O(n) complexity) and the recurrent state-space mechanism of Mamba for dilution-free long-range dependency modeling across the 2D document canvas. Our two-stage paradigm first uses a lightweight Transformer encoder to hierarchically distill salient local semantics; second, Mamba propagates global contextual dependencies without attention dilution, enabling precise, efficient, and scalable layout understanding. We further identify a critical yet overlooked issue in existing DLA benchmarks: the inherent low-overlap distribution bias of layout objects, which we mitigate through a novel Geometric Overlap Penalty Loss (GOPLoss), a dual-optimization objective that minimizes redundant bounding box overlaps and encourages geometrically consistent predictions. Extensive experiments on PubLayNet and D4LA show that LayoutMamba surpasses state-of-the-art AP on PubLayNet with 8x fewer parameters and maintains leading performance on D4LA, ranking top-3 among published methods, achieving an unprecedented balance between accuracy, efficiency, and scalability. Our work pioneers a cognition-inspired paradigm for document analysis, advancing practical deployment in edge computing and resource-limited environments.