Evolutionary Feature Engineering for Structured Data

📄 arXiv: 2607.01548v1 📥 PDF

作者: Ege Onur Taga, Yilin Zhuang, M. Emrullah Ildiz, Petros Mol, Abhimanyu Das, Karthik Duraisamy, Samet Oymak

分类: cs.LG, cs.AI

发布日期: 2026-07-02

备注: 9 page main content, 41 pages in total

💡 一句话要点

提出进化特征工程框架以优化结构化数据处理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 进化算法 特征工程 结构化数据 时间序列预测 机器学习 可解释性 大型语言模型

📋 核心要点

  1. 现有的特征工程方法在处理结构化数据时往往缺乏灵活性和适应性，难以自动化生成有效的预处理变换。
  2. 本文提出的进化特征工程（EFE）框架利用大型语言模型进行进化，自动发现和优化数据预处理变换，增强机器学习管道的性能。
  3. 实验结果表明，EFE在时间序列预测和表格预测任务中均显著提升了模型的准确性和可解释性，尤其在COVID-Deaths数据集上表现出高达19%的误差降低。

📝 摘要（中文）

随着大型语言模型在进化优化中的应用日益增加，本文提出了一种名为进化特征工程（EFE）的框架，旨在利用基于LLM的进化方法发现结构化数据的预处理变换。EFE将变换表示为具有标准化拟合/变换接口的Python程序，能够直接插入现有的机器学习管道中。在进化过程中，候选程序通过数据集上下文、摘要统计和验证集的下游性能反馈进行优化。我们在两个场景中实例化了EFE：在时间序列预测中，EFE-Time学习可逆的、数据集特定的归一化，显著降低预测误差；在表格预测中，EFE-Tab进化紧凑的特征程序，提升了模型的可解释性和准确性。

🔬 方法详解

问题定义：本文旨在解决现有特征工程方法在结构化数据处理中的不足，特别是在自动化生成有效预处理变换方面的挑战。现有方法往往无法灵活适应不同数据集的需求。

核心思路：论文提出的进化特征工程（EFE）框架通过利用大型语言模型（LLM）进行进化，自动生成和优化数据预处理变换，旨在提高模型的性能和可解释性。

技术框架：EFE框架包括多个主要模块：首先，定义变换为Python程序，具备标准化的拟合/变换接口；其次，在进化过程中，通过数据集上下文和性能反馈不断优化候选程序；最后，将优化后的变换直接集成到现有机器学习管道中。

关键创新：EFE的最大创新在于将进化算法与大型语言模型结合，能够自动发现和优化特征变换，显著提升了结构化数据处理的灵活性和效果。这一方法与传统的手动特征工程方法形成鲜明对比。

关键设计：在EFE中，关键参数设置包括变换的表示形式、进化策略的选择，以及如何利用数据集的上下文信息进行反馈优化。损失函数设计上，结合了预测性能和可解释性两个维度，以确保生成的特征既有效又易于理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EFE-Time在多个数据集上平均降低了3%以上的预测误差，尤其在COVID-Deaths数据集上实现了高达19%的误差降低。此外，EFE-Tab在经典决策树模型上表现出色，进化特征的准确性与现有LLM特征工程方法相当，且保持了良好的可解释性。

🎯 应用场景

该研究的潜在应用领域包括金融预测、医疗数据分析和市场趋势分析等，能够帮助数据科学家和工程师自动化特征工程过程，提高模型性能和可解释性。未来，EFE框架有望在更多复杂的结构化数据任务中得到应用，推动智能数据处理的发展。

📄 摘要（原文）

Large language models are increasingly used as open-ended search operators in evolutionary optimization. We introduce Evolutionary Feature Engineering (EFE), a framework for using LLM-based evolution to discover preprocessing transformations for structured data. EFE represents transformations as Python programs with a standardized fit/transform interface, allowing them to be inserted directly into existing machine learning pipelines. During evolution, candidate programs are refined using dataset context, summary statistics, and downstream performance feedback on validation set. We instantiate EFE in two settings. For time-series forecasting, EFE-Time learns invertible, dataset-specific normalizations that improve off-the-shelf time-series foundation models. It reduces forecasting errors (MASE, WQL, MAE) 3% or more when averaged across datasets and improvements are as much as 19% on the COVID-Deaths dataset. Notably, these improvements occur with recent TSFMs such as Chronos-2. For tabular prediction, EFE-Tab evolves compact feature programs that add useful interpretable features and remove redundant ones, improving or matching existing LLM-based feature-engineering methods. We found EFE-Tab to be particularly effective on classical decision trees, where small sets of evolved features yield competitive accuracy while preserving interpretability. Overall, EFE demonstrates that LLM-based evolution can improve both accuracy and interpretability when automatically tackling structured data.