Validation-Gated ML Pipeline Synthesis with Expert-Grounded Self-Evolving Skills
作者: Zixiao Zhao, Jing Sun, Zhe Hou, Mengze Li, Qian Liu, Cheng-Hao Cai, Zijian Zhang, Xin Wang, Gillian Dobbie, Jin Song Dong
分类: cs.AI, cs.SE
发布日期: 2026-11-03
备注: 49th International Conference on Software Engineering
💡 一句话要点
提出EvoML以解决现有AutoML方法的适应性和可靠性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化机器学习 机器学习管道 验证门控 自我演化技能 专家知识 模型质量 数据集适应性
📋 核心要点
- 现有的AutoML方法依赖于固定模板，适应性差且容易导致错误传播，影响最终模型质量。
- EvoML框架通过验证门控机制和专家知识驱动的自我演化技能，分阶段构建机器学习管道，确保每个阶段的输出质量。
- 在八个数据集上进行的实验表明，EvoML在分割、分类、重建和去噪等任务中均达到了最佳模型性能，展示了其全自动化能力。
📝 摘要（中文）
近年来，大型语言模型的进步使得自动化机器学习管道构建成为可能，但现有的自动化机器学习（AutoML）方法存在适应性差、任务范围窄以及代码生成可靠性不足等问题。为此，本文提出了EvoML，一个基于专家知识的自我演化技能的端到端机器学习管道合成框架。EvoML通过验证门控机制分解管道构建为四个阶段，确保每个阶段的输出经过结构、执行和语义检查，从而避免错误传播并保持每个工件的可审计性。实验结果表明，EvoML在八个数据集上实现了全自动化，并在所有任务中达到了最佳模型质量。
🔬 方法详解
问题定义：本文旨在解决现有AutoML方法在适应性和可靠性方面的不足，尤其是错误传播和缺乏审计能力的问题。
核心思路：EvoML框架通过引入验证门控机制和专家知识驱动的技能，分阶段构建机器学习管道，确保每个阶段的输出经过严格检查，从而提高整体模型的可靠性和质量。
技术框架：EvoML的整体架构包括三个主要模块：协调各阶段的Orchestrator、执行专家技能的Executor，以及进行后期演化的Curator。管道构建分为四个阶段，每个阶段的输出都需通过结构、执行和语义检查。
关键创新：EvoML的核心创新在于其验证门控机制和自我演化技能的结合，确保了每个阶段的输出质量，避免了错误的传播，这与传统的依赖固定模板或自由代码生成的AutoML方法有本质区别。
关键设计：EvoML采用nnU-Net工作流作为基础，结合可重用模板与在线适应，确保在不同数据集上都能有效演化和提升技能库。
🖼️ 关键图片
📊 实验亮点
在八个数据集的实验中，EvoML在分割任务中达到了0.94的Dice系数，在分类任务中达到了0.99的准确率，在重建任务中达到了0.95的SSIM，在去噪任务中达到了0.79的归一化PSNR，均优于现有的自动化机器学习系统和命令行编码工具。
🎯 应用场景
EvoML框架具有广泛的应用潜力，适用于各种机器学习任务，包括图像分割、分类、重建和去噪等。其全自动化的特性使得非专业用户也能高效构建高质量的机器学习模型，未来可能在医疗影像分析、自动驾驶等领域产生深远影响。
📄 摘要（原文）
Recent advances in large language models have enabled agentic systems that automate machine learning pipeline construction from minimal user input. However, existing agentic AutoML methods either depend on rigid templates that limit adaptability, target narrow task domains, or rely on free-form code generation that lacks reliability guarantees, leaving intermediate errors to propagate silently and degrade the final model. We present EvoML, an agentic framework for end-to-end ML pipeline synthesis built on expert-grounded skills that evolve across runs, executed through a validation-gated harness. The framework decomposes pipeline construction into four phases coordinated by three agents: an Orchestrator that enforces validation gates, advancing each phase only when its outputs pass structural, execution, and semantic checks, which precludes error propagation and keeps every artifact auditable; an Executor that runs expert-grounded skills, grounded in the nnU-Net workflow and pairing reusable templates with online adaptation; and a Curator that performs post-run evolution, consolidating the scripts and guidance recovered during a run into the skill library so it improves across datasets. We evaluate EvoML on eight datasets spanning six sophisticated, real-world ML task types, against agentic AutoML systems and command-line coding tools. EvoML achieves full automation and the best final model quality on all eight, spanning segmentation (up to 0.94 Dice), classification (0.99 accuracy), reconstruction (0.95 SSIM), and denoising (0.79 normalized PSNR), while transferring to broader ML tasks.