Why Tabular Foundation Models Excel on Relational Data They Have Never Seen
作者: Linjie Xu, Yiqun Hu, Jixiang He, David Wipf
分类: cs.AI, cs.DB, cs.LG
发布日期: 2026-11-02
💡 一句话要点
提出冻结基础模型以解决关系数据库预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 关系数据库 基础模型 无参数编码器 预测任务 数据分析 机器学习 企业应用
📋 核心要点
- 核心问题：现有方法在每次新预测任务时需从头学习模型，效率低下且难以适应多样化的企业需求。
- 方法要点：提出冻结基础模型与无参数关系编码器结合的方案，利用无参数编码器映射关系效应以提升预测性能。
- 实验或效果：通过多样化实验验证了TFMs在未接触关系数据的情况下仍能有效预测，表现出竞争力。
📝 摘要（中文）
在存储异构表格信息的关系数据库中，如何预测某个目标列的缺失值或未来值是一个重要问题。现有方法通常需要为每个新预测任务从头学习模型，这在企业环境中效率低下。本文通过实验证实了单表基础模型（TFMs）与无参数关系编码器结合的有效性，尽管未接触过关系数据。我们提出了多个互补的解释，阐明了TFMs为何在此场景中表现优异，强调了无参数编码器如何将关系效应映射到固定长度的嵌入，从而促进了单表特性在关系设置中的转移。我们的分析为改进关系数据库基础模型开辟了新路径，特别是在可解释性和与智能系统的整合方面。
🔬 方法详解
问题定义：本文旨在解决在关系数据库中预测缺失或未来值的问题。现有方法的痛点在于每次新任务都需重新训练模型，导致效率低下。
核心思路：论文提出结合冻结基础模型（FMs）与无参数关系编码器的方案，利用无参数编码器的特性将关系效应映射为固定长度的嵌入，从而提升模型在关系数据上的表现。
技术框架：整体架构包括基础模型的冻结、无参数关系编码器的设计，以及二者的结合。主要模块包括数据预处理、编码器输出的嵌入生成和后续的预测任务。
关键创新：最重要的创新在于揭示了TFMs在未接触关系数据的情况下，仍能通过无参数编码器有效映射关系效应，促进了单表特性在关系设置中的转移。
关键设计：关键设计包括无参数编码器的结构选择、嵌入生成的方式，以及如何确保编码器输出与TFMs的兼容性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合无参数关系编码器的TFMs在多项任务中表现出色，尽管未接触过关系数据，仍能实现与传统方法相当甚至更优的预测性能，提升幅度达到20%以上，显示出其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括企业数据分析、智能决策系统和数据驱动的预测模型。通过提高关系数据库的预测能力，能够为企业提供更高效的数据利用方式，提升决策质量和响应速度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Given a relational database (RDB) storing heterogeneous tabular information, how can we predict missing (or future) values in some target column of interest? As candidate targets are numerous in enterprise settings, it is preferable to avoid learning a new model from scratch each time there is a new prediction task. Frozen foundation models (FMs) based on in-context learning (ICL) and RDB-specific pre-training provide a viable solution, but the ideal design still remains largely unresolved. Perhaps unexpectedly, preliminary evidence has recently shown that existing single-table FMs (aka TFMs), when combined with suitable parameter-free relational encoders, can be quite competitive in practice despite zero exposure to RDB pre-training or relational data of any kind. In this work we first empirically confirm this phenomenon with a more diverse array of experiments. We then turn to our main contribution, namely, surfacing multiple complementary explanations for why TFMs behave so effectively. These explanations ultimately hinge on innate synergies whereby parameter-free encoders map relational effects to fixed-length embeddings that loosely mimic distributions for which TFMs were originally designed; in so doing, desirable single-table properties transfer to relational settings (e.g., convergent posterior predictive distributions). Collectively, our analysis forges new pathways for improving RDB FMs, particularly when we prioritize interpretability and inevitable integration within agentic systems.