Evolutionary Feature Engineering for Structured Data

📄 arXiv: 2607.01548 📥 PDF

作者: Ege Onur Taga, Yilin Zhuang, M. Emrullah Ildiz, Petros Mol, Abhimanyu Das, Karthik Duraisamy, Samet Oymak

分类: cs.LG, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出进化特征工程框架以优化结构化数据处理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 进化算法 特征工程 结构化数据 时间序列预测 机器学习 可解释性 数据预处理

📋 核心要点

  1. 现有的特征工程方法在处理结构化数据时往往缺乏灵活性和自动化，难以适应不同数据集的需求。
  2. 论文提出的EFE框架利用LLM进行进化，自动发现和优化数据预处理变换，提升特征工程的效率和效果。
  3. 实验结果显示，EFE在时间序列预测中平均降低预测误差超过3%，在COVID-Deaths数据集上提升幅度达到19%。

📝 摘要（中文）

随着大型语言模型在进化优化中的应用日益增多，本文提出了进化特征工程（EFE）框架，旨在利用基于LLM的进化方法发现结构化数据的预处理变换。EFE将变换表示为具有标准化拟合/变换接口的Python程序，能够直接嵌入现有的机器学习管道中。在进化过程中，候选程序利用数据集上下文、摘要统计和验证集的下游性能反馈进行优化。通过在时间序列预测和表格预测两种场景中实例化EFE，结果表明该框架能够有效降低预测误差，并提升模型的可解释性。

🔬 方法详解

问题定义：本文旨在解决现有特征工程方法在处理结构化数据时的灵活性不足和自动化程度低的问题，导致模型性能受限。

核心思路：EFE框架通过基于大型语言模型的进化算法，自动生成和优化数据预处理变换，以适应不同数据集的特性，提升模型的预测能力。

技术框架：EFE的整体架构包括变换生成模块、适应性优化模块和集成到机器学习管道的接口。变换生成模块负责生成候选变换，适应性优化模块则根据数据集的上下文和性能反馈进行迭代优化。

关键创新：EFE的最大创新在于将变换表示为Python程序，允许其直接嵌入现有机器学习管道中，从而实现灵活的特征工程。与传统方法相比，EFE能够自动化生成更具针对性的特征变换。

关键设计：在设计中，EFE采用标准化的拟合/变换接口，确保生成的变换可以无缝集成到现有系统中。同时，利用数据集的上下文信息和验证集的反馈来指导进化过程，确保生成的特征具有实用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在时间序列预测任务中，EFE框架平均降低预测误差超过3%，在COVID-Deaths数据集上实现了高达19%的提升。此外，EFE-Tab在经典决策树模型上表现出色，生成的小型特征集能够与现有的特征工程方法相媲美，保持了良好的可解释性。

🎯 应用场景

该研究的潜在应用领域包括金融预测、医疗数据分析和工业监控等需要处理结构化数据的场景。通过自动化特征工程，EFE能够显著提升模型的性能和可解释性，降低人工干预的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models are increasingly used as open-ended search operators in evolutionary optimization. We introduce Evolutionary Feature Engineering (EFE), a framework for using LLM-based evolution to discover preprocessing transformations for structured data. EFE represents transformations as Python programs with a standardized fit/transform interface, allowing them to be inserted directly into existing machine learning pipelines. During evolution, candidate programs are refined using dataset context, summary statistics, and downstream performance feedback on validation set. We instantiate EFE in two settings. For time-series forecasting, EFE-Time learns invertible, dataset-specific normalizations that improve off-the-shelf time-series foundation models. It reduces forecasting errors (MASE, WQL, MAE) 3% or more when averaged across datasets and improvements are as much as 19% on the COVID-Deaths dataset. Notably, these improvements occur with recent TSFMs such as Chronos-2. For tabular prediction, EFE-Tab evolves compact feature programs that add useful interpretable features and remove redundant ones, improving or matching existing LLM-based feature-engineering methods. We found EFE-Tab to be particularly effective on classical decision trees, where small sets of evolved features yield competitive accuracy while preserving interpretability. Overall, EFE demonstrates that LLM-based evolution can improve both accuracy and interpretability when automatically tackling structured data.