Beyond Foundation Models: PFN Priors Improve Tabular Hyperparameter Optimization
作者: Artem Chistyakov, Renat Sergazinov, Artem Babenko
分类: cs.LG
发布日期: 2026-11-03
💡 一句话要点
提出PriorTune方法以提升表格超参数优化效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超参数优化 表格数据 合成先验 元学习 LightGBM 机器学习
📋 核心要点
- 现有方法主要依赖合成先验进行表格基础模型的预训练，缺乏对传统模型的优化。
- 本文提出PriorTune方法，通过在合成任务上进行超参数配置的元调优，提升传统表格模型的性能。
- 实验结果显示，使用PriorTune的LightGBM在BeyondArena基准测试中表现优于多个对比模型，且推理效率更高。
📝 摘要（中文）
合成先验模型迄今为止主要用于预训练表格基础模型。本文探讨这些先验是否能改善从头开始训练的传统表格模型。我们提出PriorTune方法，该方法在合成任务上进行超参数配置的元调优。离线阶段，我们为给定模型在从已发布的PFN先验中采样的数据集上拟合一组配置，并贪婪选择在随机基线中获胜率最高的子集。在线阶段，新的数据集仅适配所选配置，因此性能提升没有额外成本。实验证明，配置数量和合成数据集的扩展对最终配置子集的性能有相同的扩展效果，并提供了理论解释。在完整的BeyondArena基准测试中，使用我们配置的LightGBM与TabPrep特征的表现超越了TabPFN-3和RealMLP，同时推理效率更高。总体而言，我们的结果确立了现有PFN先验作为非基础表格模型超参数选择的可扩展元训练数据源。
🔬 方法详解
问题定义：本文旨在解决传统表格模型在超参数优化中的不足，现有方法主要依赖合成先验进行预训练，未能有效利用这些先验来提升从头训练的模型性能。
核心思路：PriorTune方法通过在合成任务上进行超参数配置的元调优，利用PFN先验数据集来选择最佳配置，从而提高传统模型的性能。该设计旨在在不增加额外成本的情况下，优化模型的超参数选择。
技术框架：PriorTune的整体架构包括两个主要阶段：离线阶段和在线阶段。在离线阶段，为给定模型在合成数据集上拟合多个超参数配置，并选择表现最佳的子集；在在线阶段，新的数据集仅适配这些选定的配置。
关键创新：最重要的技术创新在于将PFN先验作为元训练数据源，首次在合成任务上进行超参数配置的元调优，从而实现了传统表格模型的性能提升。与现有方法相比，PriorTune在选择配置时更加高效，且不需要额外的计算资源。
关键设计：在PriorTune中，关键参数设置包括配置池的大小、贪婪选择策略以及合成数据集的数量。损失函数设计为最大化选定配置的胜率，以确保在新数据集上获得最佳性能。
🖼️ 关键图片
📊 实验亮点
在BeyondArena基准测试中，使用PriorTune配置的LightGBM模型表现优于TabPFN-3和RealMLP，且推理效率显著提高，展示了合成先验在超参数优化中的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和市场分析等需要处理表格数据的行业。通过优化超参数选择，PriorTune可以显著提升模型的预测性能和效率，具有广泛的实际价值和影响力。
📄 摘要（原文）
Synthetic priors have so far served one purpose: pretraining tabular foundation models. We ask whether the same priors can improve conventional tabular models, which are trained from scratch on each dataset. We propose PriorTune, a method that meta-tunes hyperparameter configurations on synthetic tasks alone. Offline, for a given model, we fit a pool of configurations on datasets sampled from a published PFN prior and greedily select the subset with the highest winrate over the random baseline. Online, a new dataset fits only the selected configurations, so the gain comes at no extra cost. Empirically, we observe that scaling both the number of configurations and synthetic datasets has an equal scaling effect on the performance of the final subset of configurations, which we also explain theoretically. On the full BeyondArena benchmark, LightGBM with TabPrep features with our configurations ranks above TabPFN-3 and RealMLP, while being much more efficient at inference. Overall, our results establish existing PFN priors as a scalable source of meta-training data for hyperparameter selection for non-foundational tabular models.