SymboLLM-FE: LLM-Accelerated Symbolic Regression for Automated Feature Engineering on Tabular Data

📄 arXiv: 2608.28408v1 📥 PDF

作者: Zi-Jian Cheng, Zi-Yi Jia, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo

分类: cs.LG

发布日期: 2026-08-28

💡 一句话要点

提出SymboLLM-FE以解决自动特征工程中的可解释性与迭代问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动特征工程 符号回归 大型语言模型 可解释性 机器学习 模型优化 数据科学

📋 核心要点

  1. 现有的自动特征工程方法往往生成可解释性差的特征，并且需要多轮迭代，导致效率低下。
  2. 本文提出SymboLLM-FE，通过符号回归提取数学表达式，并利用LLM进行优化，解决可解释性和迭代次数的问题。
  3. 实验证明，SymboLLM-FE在多个数据集上显著提升了模型性能，超越了现有的自动特征工程方法。

📝 摘要（中文）

表格数据作为机器学习中的核心数据格式，常因特征信息不足而缺乏高性能建模所需的判别能力。自动特征工程（AutoFE）通过自动化特征生成和选择来克服这一问题。然而，传统的AutoFE方法往往生成可解释性差的特征，且基于大型语言模型（LLM）的AutoFE面临生成高效特征所需的多轮迭代成本高、偏见和幻觉风险等挑战。本文提出将符号回归与LLM结合的特征工程方法（SymboLLM-FE），通过符号回归提取与目标强相关的数学表达式，并利用LLM的丰富先验知识进行优化，以确保可解释性。实验证明，SymboLLM-FE在六个真实世界数据集和四个Kaggle竞赛中表现优于现有的AutoFE方法。

🔬 方法详解

问题定义：本文旨在解决传统自动特征工程方法生成特征可解释性差和多轮迭代成本高的问题。现有方法依赖盲目的数学变换，导致特征信息不足且难以理解。

核心思路：SymboLLM-FE结合符号回归与大型语言模型，首先通过符号回归提取与目标变量强相关的数学公式，然后利用LLM进行优化，以确保生成特征的可解释性和有效性。

技术框架：该方法的整体架构包括两个主要模块：符号回归模块用于生成数学表达式，LLM优化模块则对这些表达式进行调整和优化。通过这种方式，SymboLLM-FE能够在单次调用中生成高效特征，减少迭代次数。

关键创新：最重要的创新在于将符号回归与LLM结合，形成了一种新的特征生成和优化机制。这种方法不仅提高了特征的可解释性，还降低了生成高效特征所需的迭代次数。

关键设计：在设计中，使用了统计先验知识来指导LLM的优化过程，确保生成的特征既具备数学表达的丰富性，又能被模型有效利用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在六个真实世界数据集和四个Kaggle竞赛中，SymboLLM-FE的表现显著优于现有的自动特征工程方法，具体提升幅度达到20%以上，展示了其在特征生成和模型性能方面的强大能力。

🎯 应用场景

该研究的潜在应用场景包括金融、医疗、市场营销等领域，尤其是在需要处理表格数据并进行特征工程的任务中。通过提高特征的可解释性和生成效率，SymboLLM-FE能够帮助数据科学家和工程师更好地理解模型决策，提升模型的实际应用价值。

📄 摘要（原文）

Tabular data, as a core data format in machine learning, often lacks the discriminative power needed for high-performance modeling due to insufficient feature informativeness. Automated Feature Engineering (AutoFE) overcomes this by automating feature generation and selection, ensuring both model performance and operational efficiency. However, traditional AutoFE often yield features with poor interpretability because they rely on blind mathematical transformations, while large language models (LLM)-based AutoFE faces challenges in requiring costly multi-round iterations to generate high-utility features to effectively enhance model performance, compounded by inherent risks of bias and hallucination. In this paper, we combine symbolic regression with LLMs for feature engineering (SymboLLM-FE) to solve these challenges. We extract mathematically expressive formulas strongly correlated with the target via symbolic regression, which can enhance model performance, then refine them by LLMs with rich prior knowledge to ensure interpretability. Empirical results on six real-world datasets and four Kaggle competitions demonstrate that SymboLLM-FE outperforms existing AutoFE. SymboLLM-FE also addresses the dual challenges of poor interpretability and numerous iterations by employing a statistical prior-grounded LLM refinement mechanism and single-digit LLM calls.