Do Tabular Foundation Models Agree with Themselves?
作者: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika
分类: cs.LG
发布日期: 2026-08-06
💡 一句话要点
提出对表格基础模型一致性的新评估方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 表格基础模型 联合分布 边际一致性 因子一致性 模型评估
📋 核心要点
- 现有的表格基础模型在生成联合分布时的可信度尚未得到充分验证，导致其在实际应用中的局限性。
- 本文提出了通过边际一致性和因子一致性来评估模型预测是否来自任何联合分布的思路，提供了新的评估框架。
- 实验结果表明，所评估的TFM在分类和回归任务中均违反了提出的两个一致性要求，显示出其在实际应用中的不足。
📝 摘要（中文）
表格基础模型（TFMs）是当前解决表格预测问题的最佳方法，它们通过变换器构建，基于预训练先验近似贝叶斯后验预测分布。然而，生成的联合分布的可信度尚未得到验证，且TFMs无法在真实数据集上与后验进行评估，因为真实分布未知。本文提出了一个新的问题：模型的预测是否可以来自任何联合分布，并提出了两个要求：边际一致性和因子一致性。研究发现，所评估的每个TFM在分类和回归任务中均违反了这两个要求。
🔬 方法详解
问题定义：本文旨在解决表格基础模型在生成联合分布时的可信度问题。现有方法无法在真实数据集上与后验进行有效评估，因为真实分布未知，导致模型的可靠性受到质疑。
核心思路：论文提出了一个新的评估框架，通过引入边际一致性和因子一致性两个要求，来判断模型的预测是否可以来自任何联合分布。这种设计旨在提高模型的可信度和实用性。
技术框架：整体架构包括模型预测的生成、边际一致性和因子一致性的验证。首先生成模型的预测，然后通过这两个要求对预测进行评估，确保模型的输出符合理论期望。
关键创新：最重要的技术创新点在于提出了边际一致性和因子一致性两个新标准，用于评估表格基础模型的预测可靠性。这与现有方法的评估方式有本质区别，提供了更为严格的验证手段。
关键设计：在实验中，模型的损失函数和网络结构经过精心设计，以确保能够有效地生成预测并进行一致性验证。具体参数设置和网络架构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所评估的每个表格基础模型在分类和回归任务中均违反了边际一致性和因子一致性要求，表明其在实际应用中的不足。这一发现为未来模型的改进提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括金融预测、医疗数据分析和市场营销等多个需要处理表格数据的领域。通过提高模型的预测可信度，能够为决策提供更可靠的支持，进而推动相关行业的发展和创新。
📄 摘要（原文）
Tabular Foundation Models (TFMs) are currently the best approach to tabular prediction problems. They are constructed as transformers that approximate the Bayesian posterior predictive distribution based on a pre-training prior. These univariate predictors can be converted into multivariate ones autoregressively by sampling one target and adding it to the features. However, the faithfulness of the resulting joint has not been investigated. Furthermore, TFMs cannot be evaluated against the posterior itself, at least not on real-world datasets, because the ground-truth distribution is unknown. We therefore propose asking a different question: could a model's predictions result from any joint distribution? To answer this question, we pose two requirements that any such model must satisfy. The first is marginalization consistency, which demands that marginalized conditionals are equal to directly predicted marginals. The second is factorization consistency, which demands that different factorization orders result in equal joint distributions. Every TFM that we evaluate violates both of these requirements for both classification and regression across all datasets.