EXAONE Tabular 1.0 : Technical Report

📄 arXiv: 2608.25774v1 📥 PDF

作者: Moonjung Eo, Min-Kook Suh, Hye-Seung Cho, Jiwon Kim, Seoyoon Kim, Sangjun Nam, Soonyoung Lee

分类: cs.LG

发布日期: 2026-08-26

备注: 18 pages, 8 figures

💡 一句话要点

提出EXAONE Tabular以提升表格数据的分类与回归性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 上下文学习 Transformer 模型效率 分类与回归 结构因果模型 预测性能

📋 核心要点

  1. 现有方法在表格数据的分类和回归任务中，往往需要针对特定数据集进行复杂的梯度更新，效率低下。
  2. EXAONE Tabular通过在每个Transformer层中交错特征轴和项轴的注意力机制，提出了一种新的上下文学习架构，避免了固定行嵌入的限制。
  3. 在多个基准测试中，EXAONE Tabular展示了优越的性能，尤其在分类和回归任务中，显著提升了效率和准确性。

📝 摘要（中文）

EXAONE Tabular是一种紧凑的表格基础模型系列，旨在通过上下文学习实现分类和回归，且无需针对特定数据集的梯度更新。该模型专门在合成结构因果模型(SCM)先验上进行预训练，其核心贡献在于对表格上下文学习的架构中心重设计。EXAONE Tabular在每个Transformer层中交错特征轴注意力与支持条件项轴注意力，利用项摘要和特征摘要令牌进行调节。实验结果显示，EXAONE Tabular在四个公共基准测试中表现出强大的预测性能和高效性，尤其在TabArena上，其2081万参数的分类模型在所有模型中排名第一，超越了调优集成和4小时的AutoML管道。

🔬 方法详解

问题定义：本论文旨在解决表格数据分类和回归任务中现有方法效率低下和模型复杂性高的问题，尤其是需要针对特定数据集进行梯度更新的痛点。

核心思路：EXAONE Tabular的核心思路是通过在每个Transformer层中交错特征轴注意力与项轴注意力，重新设计表格数据的上下文学习过程，从而提高模型的灵活性和效率。

技术框架：该模型的整体架构包括多个Transformer层，每层中通过特征轴和项轴的注意力机制进行信息交互，同时引入项摘要和特征摘要令牌以增强模型的表达能力。

关键创新：EXAONE Tabular的主要创新在于其架构中心的重设计，避免了传统方法中将特征压缩为固定行嵌入的限制，使得模型能够更有效地处理表格数据。

关键设计：模型的关键设计包括2081万参数的分类模型，采用特定的损失函数和优化策略，以确保在保持高效性的同时实现卓越的预测性能。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EXAONE Tabular在TabArena基准测试中以2081万参数的分类模型排名第一，超越了调优集成和4小时的AutoML管道。在回归任务中，其性能接近1.64亿参数的TabFM模型，但推理成本仅为其约1/11。此外，在BCCO和TALENT基准测试中，EXAONE Tabular在分类任务中排名第二，在回归任务中排名第一，展示了其卓越的综合性能。

🎯 应用场景

EXAONE Tabular的研究成果在多个领域具有广泛的应用潜力，包括金融数据分析、医疗数据处理和市场预测等。其高效的模型设计和强大的预测能力能够帮助企业和研究机构更快速地从表格数据中提取有价值的信息，推动智能决策的实现。

📄 摘要（原文）

EXAONE Tabular is a compact tabular foundation model family for classification and regression via in-context learning, producing predictions without dataset-specific gradient updates. Pretrained exclusively on a synthetic structural-causal-model (SCM) prior, its central contribution is an architecture-centered redesign of tabular in-context learning. Rather than compressing features into a fixed row embedding before a separate row-level learner, EXAONE Tabular interleaves feature-axis attention within each item with support-conditioned item-axis attention within each feature at every Transformer layer, mediated by item-summary and feature-summary tokens. Across four public benchmarks, EXAONE Tabular combines strong predictive performance with high efficiency. On TabArena, its 20.81M-parameter classification model ranks first overall, surpassing tuned ensembles and 4-hour AutoML pipelines, while regression reaches the performance regime of the 1.64B-parameter TabFM at roughly 1/11 the inference cost. On BCCO and TALENT, EXAONE Tabular ranks second in classification and first in regression. On ScoringBench, it achieves the best mean rank for both point-estimation and predictive-distribution quality, leading the $R^2$, RMSE, and CRPS evaluations. Together, these results establish EXAONE Tabular as a state-of-the-art compact tabular foundation model family, combining strong predictive performance across classification, point regression, and probabilistic regression with an efficient model design.