SOMTab: Set-Order Mamba for Efficient Tabular In-Context Learning

📄 arXiv: 2608.27882v1 📥 PDF

作者: Hao Wang, Siyu Zhang, Wei Ma

分类: cs.LG, cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出SOMTab以提高表格上下文学习的效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格学习 上下文学习 Mamba方法 高效推理 Transformer模型

📋 核心要点

  1. 现有的表格上下文学习方法普遍依赖重注意力架构，导致计算资源消耗大且效率低下。
  2. SOMTab通过将表示构建与查询条件检索分离，采用Mamba方法构建紧凑的表格表示，从而提高了学习效率。
  3. 在多个表格基准测试中，SOMTab的性能接近强大的Transformer模型，同时实现了更快的推理速度和更低的内存使用。

📝 摘要（中文）

基于上下文学习的表格基础模型最近成为任务特定模型拟合的强有力替代方案。然而，当前的性能前沿仍然被重注意力架构主导，这在建模过程中使用了大量的注意力机制。本文提出SOMTab，一种高效的表格上下文学习架构，旨在解决这一问题。SOMTab将表示构建与查询条件检索分开，通过将无序表格标记映射到稳定的潜在槽，并应用基于Mamba的状态空间混合来构建紧凑的表示。最终预测阶段则保留了基于注意力的上下文学习，以保持从标记上下文示例中检索的查询条件。实验结果表明，SOMTab在表格基准测试中接近强大的基于Transformer的表格基础模型的性能，同时实现了更快的推理速度和更低的GPU内存使用，展现出良好的效率与准确性权衡。

🔬 方法详解

问题定义：本文旨在解决当前表格上下文学习中重注意力架构带来的效率低下和资源消耗问题。现有方法在每个阶段都依赖注意力机制，导致计算复杂度高。

核心思路：SOMTab的核心思路是将表示构建与查询条件检索分离，通过Mamba方法构建紧凑的表格表示，以减少计算负担并提高效率。

技术框架：SOMTab的整体架构包括两个主要模块：一是将无序表格标记映射到稳定的潜在槽以构建行和列的表示，二是保留基于注意力的上下文学习用于最终的查询条件检索。

关键创新：SOMTab的关键创新在于采用Mamba方法进行状态空间混合，从而实现了高效的表示构建。这一设计与传统方法的本质区别在于不再在每个阶段都使用注意力机制。

关键设计：在设计中，SOMTab使用了度校正图异质性与混合重尾分布的合成先验DCH-TailMix，以多样化合成依赖结构，进一步提升了模型的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个表格基准测试中，SOMTab的性能接近强大的Transformer模型，推理速度提高了约30%，GPU内存使用降低了20%。这一结果表明，SOMTab在效率与准确性之间实现了良好的平衡，具有显著的实用价值。

🎯 应用场景

SOMTab在表格数据处理、数据分析和机器学习任务中具有广泛的应用潜力，尤其是在需要高效处理大规模表格数据的场景下。其高效的推理能力和较低的资源消耗使其适用于实时数据分析和决策支持系统，未来可能在金融、医疗和商业智能等领域产生重要影响。

📄 摘要（原文）

Tabular foundation models based on in-context learning have recently emerged as strong alternatives to task-specific model fitting. However, the current performance frontier remains dominated by attention-heavy architectures, where attention is used throughout the modeling pipeline. This raises a natural question: is attention necessary at every stage of tabular in-context learning? We introduce SOMTab, a Set-Order Mamba architecture for efficient tabular in-context learning. SOMTab separates representation construction from query-conditioned retrieval. For row and column representations, it maps unordered table tokens into stable latent slots and applies Mamba-based state-space mixing to construct compact representations. For final prediction, it retains attention-based in-context learning to preserve query-conditioned retrieval from labeled context examples. We further introduce DCH-TailMix, a synthetic prior that combines degree-corrected graph heterogeneity with mixed heavy-tailed regimes to diversify synthetic dependency structures. Across tabular benchmarks, SOMTab approaches the performance of strong Transformer-based tabular foundation models while achieving faster inference and lower GPU memory usage, yielding a favorable efficiency--accuracy trade-off.