Multi-level Diagnosis and Evaluation for Robust Tabular Feature Engineering with Large Language Models

📄 arXiv: 2509.25207v1 📥 PDF

作者: Yebin Lim, Susik Yoon

分类: cs.LG, cs.AI

发布日期: 2025-09-20

备注: Accepted to Findings of EMNLP 2025

💡 一句话要点

提出多层次诊断评估框架，提升大语言模型在表格特征工程中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 表格数据 特征工程 鲁棒性评估 多层次诊断

📋 核心要点

  1. 现有方法在利用LLM进行表格数据特征工程时，存在输出结果不稳定、可靠性难以保证的问题。
  2. 论文提出多层次诊断评估框架，从关键变量、关系和决策边界值三个层面诊断LLM的鲁棒性。
  3. 实验证明，该框架能有效评估LLM在不同数据集上的鲁棒性，并发现高质量LLM特征可显著提升少样本预测性能。

📝 摘要（中文）

近年来，大型语言模型（LLM）在表格数据特征工程方面展现出潜力，但其可靠性问题依然存在，特别是生成输出的可变性。本文提出了一种多层次诊断和评估框架，用于评估LLM在不同领域特征工程中的鲁棒性，重点关注三个主要因素：关键变量、关系以及预测目标类别的决策边界值。实验表明，LLM的鲁棒性在不同数据集上差异显著，高质量的LLM生成特征可以将少样本预测性能提高高达10.52%。这项工作为评估和提高LLM驱动的特征工程在各个领域的可靠性开辟了新的方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在表格数据特征工程中应用时，由于生成结果的可变性导致的可靠性问题。现有方法缺乏对LLM生成特征的鲁棒性评估，难以保证其在不同数据集和任务上的泛化能力。

核心思路：论文的核心思路是通过多层次的诊断和评估，深入分析LLM生成特征的质量，从而量化其鲁棒性。这种方法侧重于理解LLM生成特征的关键属性，并将其与预测性能联系起来，以便更好地利用LLM进行特征工程。

技术框架：该框架包含以下主要阶段：1) 特征生成：使用LLM生成表格数据的候选特征。2) 多层次诊断：从关键变量、变量关系和决策边界值三个层次对生成的特征进行诊断。关键变量关注特征与目标变量的相关性；变量关系分析特征之间的相互作用；决策边界值评估特征在区分不同类别时的有效性。3) 鲁棒性评估：基于诊断结果，量化LLM在特定数据集上的鲁棒性。4) 性能评估：将LLM生成的特征用于下游预测任务，评估其对模型性能的影响。

关键创新：论文的关键创新在于提出了多层次诊断和评估框架，该框架能够深入分析LLM生成特征的质量，并将其与预测性能联系起来。与现有方法相比，该框架不仅关注LLM生成特征的性能，更关注其鲁棒性和可靠性，从而为LLM在表格数据特征工程中的应用提供了更全面的评估。

关键设计：在多层次诊断中，论文可能采用了多种统计方法和机器学习技术来评估关键变量的相关性、变量关系以及决策边界值。例如，可以使用互信息来衡量特征与目标变量的相关性，使用决策树或支持向量机来分析决策边界。具体的参数设置和损失函数取决于所使用的具体方法，论文中应该会详细描述。

📊 实验亮点

实验结果表明，LLM的鲁棒性在不同数据集上差异显著。高质量的LLM生成特征可以将少样本预测性能提高高达10.52%。这些结果验证了该框架的有效性，并表明通过诊断和评估LLM生成特征的质量，可以显著提升其在表格数据特征工程中的性能。

🎯 应用场景

该研究成果可应用于金融、医疗、电商等领域，提升表格数据分析的效率和准确性。通过评估和优化LLM生成的特征，可以降低人工特征工程的成本，并提高模型的泛化能力。未来，该框架可进一步扩展到其他类型的数据和任务，推动LLM在数据科学领域的更广泛应用。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have shown promise in feature engineering for tabular data, but concerns about their reliability persist, especially due to variability in generated outputs. We introduce a multi-level diagnosis and evaluation framework to assess the robustness of LLMs in feature engineering across diverse domains, focusing on the three main factors: key variables, relationships, and decision boundary values for predicting target classes. We demonstrate that the robustness of LLMs varies significantly over different datasets, and that high-quality LLM-generated features can improve few-shot prediction performance by up to 10.52%. This work opens a new direction for assessing and enhancing the reliability of LLM-driven feature engineering in various domains.