TACTICL: Task-Aware Compression of Tabular ICL Models

📄 arXiv: 2608.10837v1 📥 PDF

作者: Mykhailo Koshil, Matthias Feurer, Katharina Eggensperger

分类: cs.LG, cs.AI

发布日期: 2026-08-11

备注: Accepted for publication at AutoML2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出TACTICL以解决表格任务模型压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格学习 模型压缩 任务感知 轻量级适配器 深度学习

📋 核心要点

  1. 现有方法在表格任务中虽然表现优异，但推理成本高，且难以适应不同任务的需求。
  2. TACTICL通过自动化任务感知压缩，联合剪枝和轻量级适配器的使用，解决了模型大小和计算需求的问题。
  3. 在47个基准数据集上的实验表明，TACTICL可以替换85%的层而不显著影响性能，并保持对数据变化的鲁棒性。

📝 摘要（中文）

基础模型在表格任务中的强大性能伴随着高昂的推理成本。通过将模型蒸馏为任务特定架构，可以减少模型大小和计算需求，但也牺牲了上下文适应性。本文提出了TACTICL，一个自动化的任务感知压缩框架，针对表格上下文学习模型，联合剪枝变换器层并用轻量级适配器替换，从而将上下文学习与权重学习相结合。我们在47个基准数据集上研究TACTICL，发现可以在不显著降低下游任务性能的情况下替换多达85%的层。此外，TACTICL在数据变化下保持了鲁棒性，保留了其上下文能力。总体而言，TACTICL提供了一个稳健的框架，通过结合任务特定适应和结构化压缩，利用表格基础模型的深度冗余。

🔬 方法详解

问题定义：当前表格任务模型在推理时面临高计算成本和适应性不足的问题，现有的蒸馏方法往往牺牲了上下文学习能力。

核心思路：TACTICL通过自动化的任务感知压缩框架，结合剪枝和轻量级适配器的方式，旨在在保持性能的同时减少模型复杂度。

技术框架：TACTICL的整体架构包括两个主要模块：一是剪枝变换器层，二是训练轻量级适配器。通过这两个模块的协同作用，模型能够在不同任务中实现高效的适应。

关键创新：TACTICL的创新在于其将上下文学习与权重学习相结合，允许在不显著损失性能的情况下大幅度减少模型的层数，这与传统的蒸馏方法形成鲜明对比。

关键设计：在设计上，TACTICL采用了特定的剪枝策略和适配器训练流程，确保在替换层时能够保持模型的鲁棒性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在47个基准数据集上的实验结果显示，TACTICL能够在不显著降低性能的情况下，替换多达85%的模型层。与基线模型相比，TACTICL在保持鲁棒性的同时，显著降低了推理成本，展现出优越的适应能力。

🎯 应用场景

TACTICL的研究成果在多个领域具有广泛的应用潜力，特别是在需要高效推理的表格数据分析、金融预测和医疗数据处理等场景。通过降低模型复杂度，TACTICL能够帮助企业和研究机构在资源有限的情况下，依然实现高效的数据处理和决策支持。

📄 摘要（原文）

The strong performance of foundation models for tabular tasks comes at substantial inference costs. Distilling models into task-specific architectures reduces model size and computational demands but also sacrifices in-context adaptability. Here we introduce TACTICL, an automated task-aware compression framework for tabular in-context learning models that jointly prunes transformer layers and replaces them with lightweight adapters trained on downstream tasks, thus blending in-context with in-weight learning. We study TACTICL on 47 benchmark datasets and show that we can substitute up to 85% of layers without substantial performance drop on a given downstream task. We further show that TACTICL maintains robustness to data shifts, leaving its in-context ability intact. Overall, TACTICL provides a robust framework for exploiting the depth-wise redundancy of tabular foundation models by combining task-specific adaptation and structured compression. We provide the code at: https://github.com/Hebog/tfm_compression