SkillTFM: Gated Skill Evolution for Training-Free Adaptation of Tabular Foundation Models

📄 arXiv: 2608.06137v1 📥 PDF

作者: Yi He, Zhengkang Guan, Anpeng Wu, Peng Cui, Fei Wu, Kun Kuang

分类: cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出SkillTFM以解决表格基础模型适应性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 基础模型 无训练适应 技能演化 电价预测 机器学习 模型优化

📋 核心要点

  1. 现有的表格基础模型在面对分布变化和异构特征时，适应性不足，通常需要昂贵的微调或额外标注数据。
  2. SkillTFM通过有门控的技能演化机制，避免了传统的参数更新，提供了一种无训练的适应性解决方案。
  3. 在电价预测等实际应用中，SkillTFM显著提升了模型性能，AUC提升幅度达到0.128至0.142，验证了其有效性。

📝 摘要（中文）

表格数据在科学、工业、金融、医疗和公共服务等领域广泛应用，是数据驱动预测和决策的重要基础。表格基础模型（TFMs）作为一种通用的表格学习范式，能够在不同数据集之间重用预测器，显著减少任务特定的训练和调优需求。然而，它们在实际应用中受到分布变化、异构特征语义和任务特定模式的限制，难以捕捉，通常需要昂贵的微调或额外标注数据。为此，本文提出了SkillTFM，一个无训练的系统，将TFM适应性从参数更新转变为有门控的技能演化。SkillTFM的核心是一个可验证和可扩展的技能库，结合边界证据识别与有门控的技能演化，前者表征任务结构和基础模型的失败模式，后者则在明确验证的基础上检索和扩展可重用技能。通过模拟边界设置和实际电价预测，SkillTFM的AUC提升了0.128至0.142，非线性边界AUC从0.699提高至0.898，实验结果展示了SkillTFM的有效性和通用性。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在实际应用中因分布变化和异构特征导致的适应性不足问题。现有方法通常依赖于昂贵的微调和额外标注数据，限制了其广泛应用。

核心思路：SkillTFM的核心思想是将TFM的适应性从传统的参数更新转变为有门控的技能演化，通过技能库的管理和演化来实现无训练的适应性。这样的设计使得模型能够在不同任务中灵活调整，而无需重新训练。

技术框架：SkillTFM的整体架构包括一个可验证的技能库，结合边界证据识别和有门控的技能演化。边界证据识别用于分析任务结构和基础模型的失败模式，而技能演化则负责检索和扩展可重用的技能。

关键创新：SkillTFM的主要创新在于引入了有门控的技能演化机制，区别于传统方法的参数更新方式。这种机制使得模型能够在面对新任务时，快速适应而无需重新训练。

关键设计：在技术细节上，SkillTFM设计了一个技能库，能够根据任务需求动态检索和验证技能，同时采用了特定的损失函数来优化技能的选择和演化过程。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，SkillTFM在电价预测任务中实现了AUC的显著提升，具体提升幅度为0.128至0.142，非线性边界AUC从0.699提高至0.898。这些结果表明SkillTFM在不同TFM骨干网络上的有效性和通用性。

🎯 应用场景

SkillTFM的研究成果在多个领域具有广泛的应用潜力，特别是在需要快速适应新任务的场景，如金融预测、医疗决策支持和智能制造等。其无训练的适应性机制能够显著降低模型部署的成本和时间，提高实际应用的灵活性和效率。

📄 摘要（原文）

Tabular data are ubiquitous in real-world applications and are crucial for data-driven prediction and decision-making across science, industry, finance, healthcare, and public services. Tabular foundation models (TFMs) have emerged as a promising paradigm for general-purpose tabular learning, offering reusable predictors across diverse datasets and substantially reducing the need for task-specific training, tuning, and model development. However, their practical deployment remains constrained by distribution shifts, heterogeneous feature semantics, and task-specific patterns that are difficult to capture without costly fine-tuning or additional labeled data. To this end, we propose SkillTFM, a training-free system that shifts TFM adaptation from parameter updates to the gated evolution of agentic skills. The core of SkillTFM is a verifiable and extensible skill bank that couples boundary evidence identification with gated skill evolution: the former characterizes task structure and base-model failure patterns, whereas the latter retrieves and extends reusable skills subject to explicit validation. Across simulated boundary settings and real-world electricity-price forecasting, SkillTFM improves AUC by 0.128--0.142, raises nonlinear-boundary AUC from 0.699 to 0.898. Furthermore, experiments across TFM backbones demonstrate the effectiveness and generality of SkillTFM.