TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks

📄 arXiv: 2402.11137v3 📥 PDF

作者: Benjamin Feuer, Robin Tibor Schirrmeister, Valeriia Cherepanova, Chinmay Hegde, Frank Hutter, Micah Goldblum, Niv Cohen, Colin White

分类: cs.LG

发布日期: 2024-02-17 (更新: 2024-10-21)

备注: NeurIPS 2024 Poster

🔗 代码/项目: GITHUB

💡 一句话要点

提出TuneTables以优化大规模先验数据拟合网络的上下文

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 先验数据拟合网络 上下文优化 表格分类 参数微调 可解释性工具 公平性优化 机器学习 数据压缩

📋 核心要点

  1. 现有的先验数据拟合网络在处理大于1000的数据集时表现不佳，限制了其应用范围。
  2. 本文提出TuneTables，通过压缩大数据集为较小的学习上下文，提供了一种高效的微调策略。
  3. 在98个数据集上的实验表明，TuneTables在性能上优于CatBoost等算法，同时只优化了不到5%的参数。

📝 摘要（中文）

尽管表格分类传统上依赖从头训练，但最近的先验数据拟合网络（PFNs）挑战了这一方法。PFNs利用预训练和上下文学习在单次前向传递中实现强大的新任务性能。然而，现有PFNs存在限制，阻碍了其广泛应用。本文提出TuneTables，一种参数高效的微调策略，通过将大数据集压缩为较小的学习上下文，显著提高PFNs的性能。我们在98个数据集上对19种算法进行了广泛实验，发现TuneTables在平均性能上超越了CatBoost等提升树，同时优化了不到5%的TabPFN参数。此外，TuneTables还可以作为可解释性工具，并通过优化公平性目标来减轻偏见。我们的代码和原始结果已开源。

🔬 方法详解

问题定义：本文旨在解决现有先验数据拟合网络（PFNs）在处理大规模数据集时的性能瓶颈，尤其是TabPFN在数据集超过1000时的预测能力不足。

核心思路：TuneTables通过上下文优化，将大数据集压缩为较小的学习上下文，从而实现高效的参数微调，提升PFNs的性能。这样的设计使得模型能够在保持较少参数优化的情况下，适应更大规模的数据集。

技术框架：TuneTables的整体架构包括数据集压缩模块、上下文学习模块和参数优化模块。首先，通过学习算法将大数据集压缩为小的上下文，然后在此基础上进行参数微调以优化模型性能。

关键创新：TuneTables的主要创新在于其参数高效的微调策略，能够在优化不到5%参数的情况下，显著提升模型在大规模数据集上的表现。这一方法与传统的从头训练方法形成鲜明对比。

关键设计：在设计中，TuneTables采用了特定的损失函数来平衡模型性能与公平性，同时通过优化算法选择和上下文学习策略，确保了模型的可解释性和偏见减轻能力。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在98个数据集的实验中，TuneTables在平均性能上超越了CatBoost等提升树算法，显示出其在处理大规模数据集时的优势。具体而言，TuneTables优化了不到5%的TabPFN参数，却实现了显著的性能提升，证明了其高效性和有效性。

🎯 应用场景

TuneTables的研究成果具有广泛的应用潜力，尤其是在金融、医疗和市场分析等领域，能够处理大规模的表格数据并提供准确的预测。此外，该方法的可解释性和公平性优化能力，使其在需要透明决策的场景中尤为重要，未来可能推动相关领域的技术进步。

📄 摘要（原文）

While tabular classification has traditionally relied on from-scratch training, a recent breakthrough called prior-data fitted networks (PFNs) challenges this approach. Similar to large language models, PFNs make use of pretraining and in-context learning to achieve strong performance on new tasks in a single forward pass. However, current PFNs have limitations that prohibit their widespread adoption. Notably, TabPFN achieves very strong performance on small tabular datasets but is not designed to make predictions for datasets of size larger than 1000. In this work, we overcome these limitations and substantially improve the performance of PFNs via context optimization. We introduce TuneTables, a parameter-efficient fine-tuning strategy for PFNs that compresses large datasets into a smaller learned context. We conduct extensive experiments on 19 algorithms over 98 datasets and find that TuneTables achieves the best performance on average, outperforming boosted trees such as CatBoost, while optimizing fewer than 5% of TabPFN's parameters. Furthermore, we show that TuneTables can be used as an interpretability tool and can even be used to mitigate biases by optimizing a fairness objective. We open-source our code and raw results at https://github.com/penfever/TuneTables.