Evolving Executable Pipeline Programs for AutoML with Language Models
作者: Sofoklis Kitharidis, Cor J. Veenman, Jan N. van Rijn, Thomas Bäck, Niki van Stein
分类: cs.LG, cs.NE
发布日期: 2026-08-17
💡 一句话要点
提出LACE框架以解决AutoML中管道生成的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化机器学习 管道生成 进化算法 大型语言模型 数据科学 机器学习优化 Python编程
📋 核心要点
- 现有的AutoML方法只能在预定义的操作和参数空间中搜索，无法生成新的管道结构，限制了其灵活性。
- LACE框架通过进化算法和大型语言模型结合，能够生成完整的可执行管道程序，突破了传统方法的限制。
- 在68个OpenML分类任务中，LACE显著超越了多个基线系统，展示了其在管道生成和优化方面的优势。
📝 摘要（中文）
自动化机器学习（AutoML）系统在预处理操作、学习器和超参数的空间中搜索管道，能够选择和调整已知组件，但无法生成超出该空间的结构。我们提出了LACE，一个AutoML框架，它通过搜索完整的可执行管道程序来解决这一问题：一个进化循环维护一组兼容scikit-learn的Python类，而大型语言模型作为变异操作符。LACE是首次以这种方式对通用表格管道AutoML进行表述，并在标准化的OpenML任务上进行了评估。每个候选都是普通的Python，返回的管道及其生成过程可以直接检查和编辑。实验结果显示，LACE在68个OpenML分类任务中显著超越了auto-sklearn、H2O和固定的XGBoost基线，与评估的最强搜索系统AutoGluon没有可检测的差异。
🔬 方法详解
问题定义：现有的AutoML方法在预定义的操作和参数空间中进行搜索，无法生成新的管道结构，导致灵活性不足和适应性差。
核心思路：LACE框架通过进化算法维护一组兼容scikit-learn的Python类，并利用大型语言模型作为变异操作符，从而能够生成完整的可执行管道程序。
技术框架：LACE的整体架构包括一个进化循环，负责维护和更新管道的种群，同时使用大型语言模型生成新的管道变体。该框架允许用户直接检查和编辑生成的Python代码。
关键创新：LACE的主要创新在于其搜索空间由代码定义，允许用户直接重用和编辑生成的管道，而不是仅通过框架的模型对象进行操作。这种方法与现有的AutoML系统本质上不同，后者通常依赖于固定的预训练预测器。
关键设计：LACE的设计中，关键参数包括进化算法的选择、语言模型的配置以及管道生成的评估标准。损失函数和优化目标被设定为最大化分类性能，同时确保生成的管道可编辑和可重用。
🖼️ 关键图片
📊 实验亮点
在68个OpenML分类任务中，LACE框架与GPT-5.4-mini结合，显著超越了auto-sklearn、H2O和固定的XGBoost基线，且与最强的搜索系统AutoGluon相比没有可检测的差异。这表明LACE在管道生成和优化方面具有显著优势。
🎯 应用场景
LACE框架在自动化机器学习领域具有广泛的应用潜力，特别是在需要快速迭代和优化机器学习管道的场景中。其灵活性和可编辑性使得数据科学家和机器学习工程师能够更高效地构建和调整模型，提升工作效率。此外，LACE的设计理念也为未来的AutoML系统提供了新的思路和方向。
📄 摘要（原文）
Automated machine learning (AutoML) systems search for pipelines within a space of preprocessing operators, learners, and hyper-parameters specified in advance: they can select and tune known components, but cannot produce structure outside that space. We present LACE, an AutoML framework that instead searches over complete executable pipeline programs: an evolutionary loop maintains a population of scikit-learn-compatible Python classes, and a large language model acts as the variation operator. To our knowledge, LACE is the first to formulate general tabular pipeline AutoML this way, evaluated on standardized OpenML tasks under a leakage-controlled protocol that withholds dataset identity from the generator. Because every candidate is ordinary Python, the returned pipeline and the search that produced it can be inspected and edited directly, rather than only through a framework's model objects. On 68 OpenML classification tasks, LACE with GPT-5.4-mini significantly outperforms auto-sklearn, H2O, and a fixed XGBoost baseline, with no detectable difference against AutoGluon, the strongest search-based system evaluated, while covering the full benchmark. Newer tabular foundation models are more accurate on the subset of tasks they support, but apply a fixed pretrained predictor rather than returning an editable task-specific program. LACE's contribution is therefore not raw accuracy but a search space defined by code: complete coverage, pipelines practitioners can reuse directly, and a component set extended by editing the prompt rather than the framework.