Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning

📄 arXiv: 2404.09491v2 📥 PDF

作者: Sungwon Han, Jinsung Yoon, Sercan O Arik, Tomas Pfister

分类: cs.LG

发布日期: 2024-04-15 (更新: 2024-05-06)

备注: Accepted to ICML, 2024

💡 一句话要点

提出FeatLLM框架以解决少样本表格学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 特征工程 少样本学习 表格数据 机器学习

📋 核心要点

  1. 现有方法在少样本表格学习中往往依赖于复杂的模型和大量的查询，导致效率低下。
  2. 本文提出的FeatLLM框架利用LLMs自动生成特征，简化了推理过程，提升了学习效率。
  3. 实验结果表明，FeatLLM在多个数据集上表现优异，平均性能提升达到10%，超越了现有方法。

📝 摘要（中文）

大型语言模型（LLMs）凭借其出色的推理能力，在表格学习中展现出巨大的潜力。本文提出了一种新颖的上下文学习框架FeatLLM，利用LLMs作为特征工程师，生成最适合表格预测的输入数据集。生成的特征用于通过简单的下游机器学习模型（如线性回归）推断类别概率，实现高性能的少样本学习。FeatLLM在推理时仅使用发现的特征与简单的预测模型，避免了现有LLM方法在推理时对每个样本发送查询的需求，并且仅需API级别的LLM访问，克服了提示大小的限制。通过在多个领域的表格数据集上的实验，FeatLLM生成的高质量规则显著（平均提升10%）优于TabLLM和STUNT等替代方法。

🔬 方法详解

问题定义：本文旨在解决少样本表格学习中现有方法效率低下和复杂性高的问题。现有方法通常需要对每个样本进行查询，增加了计算成本和时间开销。

核心思路：FeatLLM框架的核心思想是将LLMs作为特征工程师，自动生成适合表格预测的特征，从而简化推理过程并提高学习效率。通过这种方式，模型在推理时只需使用生成的特征和简单的预测模型。

技术框架：FeatLLM的整体架构包括特征生成模块和预测模块。特征生成模块利用LLMs生成高质量的特征，而预测模块则使用简单的机器学习模型（如线性回归）进行类别概率推断。

关键创新：FeatLLM的主要创新在于消除了对每个样本进行查询的需求，使得推理过程更加高效。此外，该框架仅需API级别的LLM访问，克服了提示大小的限制。

关键设计：在设计中，FeatLLM采用了简单的线性回归模型作为下游预测模型，确保了推理时的高效性。特征生成的过程经过优化，以确保生成的特征具有高质量和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个领域的表格数据集上，FeatLLM的实验结果显示其生成的特征规则显著优于现有方法，平均性能提升达到10%。与TabLLM和STUNT等基线相比，FeatLLM在效率和效果上均表现出色。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗、市场营销等多个需要表格数据分析的行业。通过自动生成特征，FeatLLM能够显著提高少样本学习的效率，降低对数据标注的依赖，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs), with their remarkable ability to tackle challenging and unseen reasoning problems, hold immense potential for tabular learning, that is vital for many real-world applications. In this paper, we propose a novel in-context learning framework, FeatLLM, which employs LLMs as feature engineers to produce an input data set that is optimally suited for tabular predictions. The generated features are used to infer class likelihood with a simple downstream machine learning model, such as linear regression and yields high performance few-shot learning. The proposed FeatLLM framework only uses this simple predictive model with the discovered features at inference time. Compared to existing LLM-based approaches, FeatLLM eliminates the need to send queries to the LLM for each sample at inference time. Moreover, it merely requires API-level access to LLMs, and overcomes prompt size limitations. As demonstrated across numerous tabular datasets from a wide range of domains, FeatLLM generates high-quality rules, significantly (10% on average) outperforming alternatives such as TabLLM and STUNT.