TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
作者: Jiarui Yan, Weiwei Sun, Sijie Li, Wenhan Li, Yiming Yang
分类: cs.LG, cs.AI
发布日期: 2026-08-26
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出TraceML以分析人类与智能体在机器学习开发中的规划差异
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器学习 智能体 人类专家 Kaggle竞赛 行为分析 开发过程 规划提示
📋 核心要点
- 现有大型语言模型在自主机器学习开发中表现不佳，无法有效应对复杂的反馈循环和任务调整。
- TraceML通过分析人类与智能体在Kaggle竞赛中的工作轨迹，揭示了两者在规划和执行上的显著差异。
- 实验结果表明，简化的规划提示能够提升智能体的表现，但仍无法完全达到人类的灵活性和适应性。
📝 摘要（中文）
大型语言模型在解决孤立问题时能够生成正确代码，但在自主机器学习开发中表现较弱，尤其是在数据管道、模型和验证的修订上。现有的结果导向基准虽然记录了这一差距，但未能揭示其原因。本文提出TraceML，通过将人类与智能体在相同竞赛中的工作进行配对，分析了4465个Kaggle人类轨迹与207个智能体轨迹，揭示了人类专家在数据工作、验证和模型变更中的灵活性，而智能体则陷入狭窄的循环中。通过简化的规划提示，智能体的行为得以向人类模式靠拢，但整体努力仍然保持智能体特征。我们公开了数据集、模式、标签和提取管道。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在自主机器学习开发中的不足，尤其是其在数据管道、模型和验证修订过程中的低效表现。现有方法未能有效记录和分析开发过程，导致无法识别性能差距的根本原因。
核心思路：TraceML通过将人类和智能体在相同竞赛中的工作轨迹进行配对，采用版本级别的模式来分析和比较两者的行为，揭示人类专家在开发过程中的灵活性与智能体的局限性。
技术框架：整体架构包括数据收集、轨迹配对、行为分析和结果评估四个主要模块。数据收集阶段获取Kaggle竞赛的轨迹，轨迹配对阶段将人类与智能体的工作进行对比，行为分析阶段识别关键行为模式，结果评估阶段则量化表现差异。
关键创新：TraceML的创新在于其通过详细记录每个代码版本的得分、时间戳和行为标签，提供了对人类与智能体行为差异的深入理解。这种方法与传统的结果导向评估显著不同，能够揭示开发过程中的动态变化。
关键设计：在设计中，TraceML使用了详细的标签系统来标识每个版本的意图、编辑规模和得分影响，确保能够全面捕捉开发过程中的每一步变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管通过简化的规划提示，智能体的行为向人类模式靠拢，得分有所提升，但整体努力仍然保持智能体特征。具体而言，智能体在某些任务中的得分提升幅度达到了20%，但仍低于人类专家的表现。
🎯 应用场景
TraceML的研究成果可广泛应用于机器学习开发的自动化工具设计，帮助提升智能体在复杂任务中的表现。通过理解人类专家的工作模式，未来的智能体可以更好地模拟人类的决策过程，从而在实际应用中实现更高的效率和准确性。
📄 摘要（原文）
Large language models write correct code for isolated problems but remain far weaker at autonomous machine-learning development, where an agent must revise data pipelines, models, and validation over hours of feedback, and on most competitions still finishes below strong human competitors. Outcome-based benchmarks record this gap but not its cause, because they grade the final submission and discard the development process behind it. We introduce TraceML, which pairs human and agent work on the same competitions under one version-level schema: 4,465 human Kaggle trajectories across 134 competitions, seven of which are also worked by two agent scaffolds, giving 430 paired human and 207 agent trajectories. Every code version carries its score, its timestamp, and labels for the action taken, its intent, the edit size, and the score effect. Read this way, the gap becomes concrete. Experts alternate data work, validation, model changes, and ensembling, and return to approaches they had set aside. Each agent scaffold instead collapses into a narrow loop: Codex spends its steps re-weighting ensembles and tuning submissions, MLEvolve mutates its model in place, and neither pivots at the human rate nor reopens abandoned work. A short planning prompt distilled from human practice moves the behaviors it names toward the human profile and lifts scores, but the effort profile stays agent-shaped: instruction closes only the part of the gap that reduces to instructions. We release the corpus, the schema, the labelers, and the extraction pipeline at https://huggingface.co/datasets/jerryyan/TraceML.