Beyond IID: How General Are Tabular Foundation Models, Really?

📄 arXiv: 2606.30410v1 📥 PDF

作者: Lennart Purucker, Andrej Tschalzev, Nick Erickson, Gioia Blayer, David Holzmüller, Alan Arazi, Alexander Pfefferle, Mustafa Tajjar, Gaël Varoquaux, Frank Hutter

分类: cs.LG, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出BeyondArena以解决表格数据基准测试碎片化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 基础模型 基准测试 机器学习 数据集整理 非IID 评估框架

📋 核心要点

  1. 现有的表格基础模型评估主要集中在IID数据上，缺乏对更复杂场景的考量，限制了模型的实际应用和进步。
  2. 本文提出了BeyondArena基准，支持多种任务类型和数据特征，旨在提供一个统一的评估框架，推动模型研究的深入。
  3. 通过对11种模型和142个数据集的实验，发现现有模型在小型IID数据上表现良好，但在非IID和高维数据上仍需改进。

📝 摘要（中文）

近年来，表格数据的基础模型在预测机器学习中获得了显著关注。然而，现有的基准测试和评估协议碎片化，使得模型研究者难以评估模型在不同任务和数据集上的表现。为此，本文提出了BeyondArena，这是第一个统一的综合基准，支持多种任务类型，并引入Data Foundry框架以便于数据集的整理与评估。实验结果表明，现有的表格基础模型在小型到中型的独立同分布（IID）数据上表现优异，但在非IID、大型和高维数据集上，传统的树模型和深度学习模型仍占优势。

🔬 方法详解

问题定义：本文旨在解决表格数据基础模型评估的碎片化问题，现有方法主要集中在IID数据上，忽视了更具挑战性的非IID场景。

核心思路：提出BeyondArena基准，支持多种任务类型（如IID、时间序列、分组），并引入Data Foundry框架以统一整理和评估数据集，促进模型研究的全面性。

技术框架：整体架构包括两个主要模块：BeyondArena基准用于多样化任务评估，Data Foundry框架用于数据集的整理和元数据管理，确保数据集的多样性和可用性。

关键创新：BeyondArena是首个综合性基准，能够支持不同规模和特征类型的数据集，填补了现有评估方法的空白，推动了对复杂任务的研究。

关键设计：在数据集整理中，采用了特定的元数据架构，确保数据集的高质量和多样性，同时在模型评估中引入了多种性能指标，以全面反映模型的表现。

📊 实验亮点

实验结果显示，现有的表格基础模型在小型到中型的IID数据集上表现优异，准确率达到85%以上，但在非IID和高维数据集上，传统的树模型和深度学习模型仍然占据主导地位，表现出更高的稳定性和准确性。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗、市场分析等多个行业，能够帮助研究者和从业者在复杂的表格数据环境中更有效地评估和优化模型性能。未来，BeyondArena有望成为表格数据模型研究的标准基准，推动相关领域的进步。

📄 摘要（原文）

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.