GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

📄 arXiv: 2608.18849v1 📥 PDF

作者: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

分类: cs.LG, stat.ME, stat.ML

发布日期: 2026-08-19

备注: 9 pages,5 figures

💡 一句话要点

提出GEAR框架以解决表格基础模型的延迟和内存问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 蒸馏训练 生成模型 机器学习 轻量级模型 性能优化 数据处理

📋 核心要点

  1. 现有的表格基础模型在推理时存在显著的延迟和内存消耗，限制了其在大规模场景中的应用。
  2. GEAR框架通过两阶段蒸馏过程，将TFMs转化为轻量级的预测器，第一阶段使用合成数据，第二阶段使用真实标签进行锚定。
  3. 实验结果显示，GEAR在二分类和多分类任务上，AUC提升幅度达到1.81-2.00和1.19-1.35，且推理时间显著减少。

📝 摘要（中文）

表格基础模型（TFMs）通过上下文学习实现了强大的性能，但上下文依赖的推理导致了显著的延迟和内存成本，限制了其大规模部署。本文提出了GEAR（生成扩展与真实锚定），一个模块化的两阶段框架，将TFMs蒸馏为轻量级的多层感知机（MLP）或基于树的预测器，能够在普通CPU上部署。第一阶段使用合成协变量作为教师查询位置，并在软TFM目标上训练学生，扩展覆盖范围。第二阶段通过真实标签和教师预测的重新锚定，避免自标记泄漏。实验结果表明，GEAR在多个任务上显著提高了性能。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在大规模部署中的延迟和内存消耗问题。现有方法在上下文依赖推理时，面临显著的性能瓶颈和资源消耗。

核心思路：GEAR框架通过两阶段的蒸馏过程，首先利用合成数据扩展训练样本的覆盖范围，然后通过真实标签进行锚定，确保模型的准确性和稳定性。

技术框架：GEAR的整体架构分为两个主要阶段：第一阶段使用合成协变量作为教师查询位置，训练学生模型；第二阶段使用真实标签和教师的预测结果进行锚定，避免自标记的泄漏。

关键创新：GEAR的创新点在于其模块化的两阶段蒸馏方法，能够有效地将TFMs转化为轻量级模型，同时保持高性能，解决了传统方法的局限性。

关键设计：在模型训练中，使用了特定的损失函数来平衡生成查询的数量与生成器的保真度，确保模型在不同阶段的稳定性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GEAR的两阶段MLP在二分类任务上比监督MLP提高了1.81-2.00 AUC点，在多分类任务上提高了1.19-1.35点。此外，GEAR在推理时间上减少了57-2866倍，峰值预测内存减少了1.9-3.3倍，表现优于CatBoost等非TFM基线。

🎯 应用场景

GEAR框架在表格数据分析、金融预测、医疗数据处理等领域具有广泛的应用潜力。其轻量级模型能够在资源有限的环境中高效运行，推动大规模数据处理的实际应用，提升决策支持系统的性能。

📄 摘要（原文）

Tabular foundation models (TFMs) achieve strong performance through in-context learning, but context-dependent inference imposes substantial latency and memory costs, hindering large-scale deployment. We propose GEAR (\emph{Generative Expansion and Real Anchoring}), a modular two-stage framework that distills TFMs into lightweight MLP or tree-based predictors that can be deployed on commodity CPUs. Stage 1 uses synthetic covariates solely as teacher-query locations and trains the student on soft TFM targets, expanding coverage beyond observed rows. Stage 2 re-anchors the student to the target distribution using real labels and out-of-fold teacher predictions, whitch avoids self-labeling leakage. We further derive a risk certificate characterizing the trade-off between generated-query volume and generator fidelity. Experiments on TALENT and TabArena demonstrate the broad applicability of GEAR. Two-stage MLPs outperform supervised MLPs by 1.81--2.00 AUC points on binary tasks and 1.19--1.35 points on multiclass tasks, with additional gains over real-data-only distillation of 1.76--2.19 and 2.09--2.40 points, respectively. On binary tasks, the gains also transfer to LightGBM and XGBoost, and all three student families outperform CatBoost, the strongest non-TFM baseline, in mean AUC. Ablations show gains beyond longer training or alternative warm starts, greater stability from staged than mixed optimization, and generator-dependent diminishing returns as query volume increases. Finally, GEAR reduces median inference time by 57--2866 times and peak prediction memory by 1.9--3.3 times, while retaining higher AUC than matched supervised baselines.