Do Tabular Foundation Models Know Physics? Contamination, Units, and the Deterministic Limit

📄 arXiv: 2609.02766v1 📥 PDF

作者: Wassim Tenachi, Yashar Hezaveh, Laurence Perreault Levasseur, Pierre-Luc Bacon

分类: cs.LG, astro-ph.IM

发布日期: 2026-09-02

备注: 5 pages (4 figures, 1 table). Submitted to the Representations for the Physical Sciences Workshop @ NeurIPS 2026

💡 一句话要点

探讨表格基础模型在物理知识学习中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 物理知识 先验知识 模型评估 科学计算 工程设计 机器学习

📋 核心要点

  1. 现有的表格基础模型在物理知识的学习和应用中存在先验知识不足的问题，无法准确表示物理单位和无噪声机制。
  2. 本文通过直接评估四种TFMs，探讨其在物理方程学习中的表现，旨在揭示其先验知识的局限性。
  3. 实验结果显示，TFMs在多种数据集上表现优越，但仍无法作为有效的物理模型，表明其在物理知识的理解上存在缺陷。

📝 摘要（中文）

表格基础模型（TFMs）通过填充表格来学习，类似于语言模型处理文本的方式。本文探讨了TFMs在学习物理知识过程中的表现，特别是它们的先验知识包含了什么。我们直接评估了四种TFMs（TabPFN-3、TabICLv2、TabDPT和Real-TabPFN-2.5），并与六个基线模型在316个物理方程的样本数据集上进行比较。结果表明，TFMs在未调优和调优后均表现优越。然而，它们的先验无法表示无噪声机制或物理单位，因此虽然能够插值物理知识，但尚不能作为物理模型使用。

🔬 方法详解

问题定义：本文旨在探讨表格基础模型在学习物理知识时的局限性，特别是它们的先验知识无法准确表示物理单位和无噪声机制，这限制了它们作为物理模型的能力。

核心思路：通过对四种TFMs进行评估，分析它们在处理316个物理方程时的表现，揭示其先验知识的不足，进而理解它们在物理知识学习中的局限性。

技术框架：研究首先选择四种TFMs进行实验，然后与六个基线模型进行对比，使用从316个物理方程中采样的数据集进行评估，分析模型的表现和先验知识的特征。

关键创新：本文的创新在于直接评估TFMs的先验知识，揭示其无法表示物理单位和无噪声机制的事实，这一发现与现有方法的理论预期存在显著差异。

关键设计：实验中使用了多种数据集和评估指标，确保了结果的可靠性和有效性，特别是在模型调优和未调优状态下的比较分析。通过这些设计，研究揭示了TFMs在物理知识学习中的潜在缺陷。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TFMs在处理物理方程时表现优越，超越了六个基线模型。然而，它们的先验知识无法表示物理单位和无噪声机制，限制了其作为物理模型的有效性。具体而言，TFMs在调优后仍未能完全掌握物理知识的内涵。

🎯 应用场景

该研究的潜在应用领域包括科学计算、工程设计和教育等。通过理解TFMs在物理知识学习中的局限性，可以为未来开发更有效的模型提供指导，促进物理学和相关领域的研究与应用。

📄 摘要（原文）

Tabular foundation models (TFMs) learn to fill in tables the way language models fill in text, and tables are arguably the format in which most physical measurement arrives. Did they learn any physics in the process? They are Bayesian by construction, so the question is what their prior contains. We probe it directly, evaluating four of them (TabPFN-3, TabICLv2, TabDPT and Real-TabPFN-2.5) against six baselines on datasets sampled from 316 physical equations, in and out of domain. TFMs dominate, out of the box and after tuning. But we show that their prior can represent neither a noiseless mechanism nor physical units, which is why they interpolate physics without yet being able to act as physical models.