What is Missing from AI Post-Training AI: An Empirical Analysis
作者: Joy Jia Yin Lim, Xin Huang, Hao Peng, Yaxi Lu, Xin Cong, Zhong Zhang, Maosong Sun, Yankai Lin
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-08-19
💡 一句话要点
提出后训练AI的策略重评机制以提升执行能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后训练 大型语言模型 策略重评 执行能力 人工智能
📋 核心要点
- 现有的后训练方法在策略调整方面存在局限，代理在训练初期锁定策略，缺乏灵活性。
- 论文提出通过经验驱动的支架、人工指导和推理计算等手段来改善代理的执行能力。
- 实验结果显示，经验支架提升了执行效果，但策略未变；人工指导有效但训练后又回到局部调整；推理计算在简单任务上有效，难度大的任务提升有限。
📝 摘要（中文）
大型语言模型（LLM）代理现在可以端到端地对LLM进行后训练。它们能够编写代码、启动训练、评估检查点并改善下游性能，展现出AI为AI的潜力。本文指出，这种现象混淆了执行级能力和策略级能力两个不同的能力。通过分析大量公开的后训练轨迹，发现代理的训练策略在一开始就被锁定，剩余预算主要用于局部调整。研究表明，代理缺乏的并不是经验、指导或推理计算，而是在执行过程中自发重新评估其策略的机制。
🔬 方法详解
问题定义：本文旨在解决后训练AI在执行过程中缺乏策略重评机制的问题。现有方法在训练初期锁定策略，导致无法灵活应对变化的训练需求。
核心思路：论文的核心思路是通过引入经验驱动的支架、人工指导和推理计算等手段，来改善代理的执行能力，同时探索如何在训练过程中动态调整策略。
技术框架：整体架构包括三个主要模块：经验支架模块、人工指导模块和推理计算模块。经验支架用于提供执行支持，人工指导用于引导初始策略，而推理计算则用于提升任务处理能力。
关键创新：最重要的技术创新在于提出了动态策略重评机制，强调在执行过程中不断评估和调整策略的必要性，这与现有方法的静态策略形成鲜明对比。
关键设计：在设计中，经验支架的参数设置基于历史数据，人工指导通过人类反馈进行调整，推理计算的资源分配则依据任务难度进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经验驱动的支架在GSM8K任务上提升了12.6分，在HumanEval任务上提升了40.8分，尽管策略未变；人工指导有效引导初始策略，但训练后代理又回到局部调整循环，推理计算在简单任务上有效，但在最难任务上几乎没有提升。
🎯 应用场景
该研究的潜在应用领域包括自动化机器学习、智能代理系统和自适应学习平台。通过引入动态策略重评机制，能够显著提升AI代理在复杂任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM) agents can now post-train an LLM end-to-end. They can write code, launch training, evaluate checkpoints, and improve downstream performance, raising the prospect of AI-for-AI. We argue that this picture conflates two distinct capabilities: execution-level capability, iterating within a selected training strategy; and strategy-level capability, revising the high-level judgment as experimental evidence accumulates. Analyzing a large corpus of publicly released post-training trajectories, we find that across different tasks, the agent's training strategy is locked in at the very beginning, and the entire remaining budget is spent on local adjustments within the selected strategy. We then examine three natural explanations--missing experience, missing guidance, and insufficient reasoning--with escalating interventions. Extensive experiments show that (1) an experience-driven scaffold improves execution across the board (+12.6 points on GSM8K and +40.8 on HumanEval) but leaves the strategy static; (2) human guidance effectively redirects the initial strategy, yet the agent falls back into local adjustment loops once training starts; and (3) additional inference compute pays off on easier tasks but yields almost no gain on the hardest one. In conclusion, what agents lack is neither experience, guidance, nor reasoning compute, but a mechanism for spontaneously reevaluating their strategy during execution.