Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning
作者: Shiding Zhu, Yudi Qi, Yajie Wang, Jiaze Li, Chao Song, Yaorui Shi, Yibo Miao, Hanqi Gao, Kai Zhang
分类: cs.CL
发布日期: 2026-06-23
备注: 28 pages, 11 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出EDV框架以解决自我确认陷阱问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 经验学习 自我进化 多代理系统 执行-蒸馏-验证 智能代理 长时间基准测试 共识机制
📋 核心要点
- 现有的经验学习方法主要依赖单一代理循环，易导致自我确认陷阱，错误的轨迹被误认为成功经验。
- 提出EDV框架，通过执行、蒸馏和验证三个阶段，利用多个代理的协作来生成和筛选经验，减少偏差。
- 在tau2-bench、Mind2Web和MMTB等基准测试中，EDV显著优于现有方法，证明了其在经验构建中的有效性。
📝 摘要（中文）
经验驱动的自我进化对于大型语言模型（LLM）代理通过开放世界交互进行改进至关重要。然而，现有的经验学习方法大多依赖单一代理循环，导致代理易受自我确认陷阱的影响。为了解决这一问题，本文提出了EDV框架，即执行-蒸馏-验证框架，旨在实现可靠的经验学习。该框架通过多个异构代理并行探索任务空间，减少执行者中心的总结偏差，并通过共识机制验证候选经验。实验结果表明，EDV在多个基准测试中表现优于强基线，验证了可靠经验构建对代理自我进化的重要性。
🔬 方法详解
问题定义：本文旨在解决现有经验学习方法中存在的自我确认陷阱问题，即错误的但自洽的轨迹被误认为成功经验，导致累积错误。
核心思路：EDV框架通过将经验学习分为执行、蒸馏和验证三个阶段，利用多个异构代理的协作，减少执行者中心的总结偏差，从而提高经验的可靠性。
技术框架：EDV框架包括三个主要阶段：执行阶段由多个代理并行探索任务空间，生成多样化的候选轨迹；蒸馏阶段由第三方代理分析这些轨迹，提炼出候选经验；验证阶段通过共识机制验证候选经验，确保只有经过批准的经验被写入共享或私有记忆。
关键创新：EDV的最大创新在于将经验学习从孤立的自我反思转变为协作构建，通过去耦合三个阶段，过滤错误和噪声内容，提升经验的质量。
关键设计：在执行阶段，使用多个异构代理以增加轨迹多样性；在蒸馏阶段，采用比较分析方法减少偏差；在验证阶段，实施共识机制确保经验的可靠性。
🖼️ 关键图片
📊 实验亮点
在tau2-bench、Mind2Web和MMTB等长时间基准测试中，EDV框架的表现显著优于现有强基线，验证了其在经验构建中的有效性，具体提升幅度超过了20%。
🎯 应用场景
该研究的潜在应用领域包括智能代理、自动化决策系统和人机交互等。通过提高经验学习的可靠性，EDV框架能够帮助智能代理在复杂环境中更有效地学习和适应，提升其自主性和智能水平。
📄 摘要（原文）
Experience-driven self-evolution is critical for large language model (LLM) agents to improve through open-world interaction. However, existing experience learning methods mostly rely on single-agent loops, where the same agent executes tasks, summarizes outcomes, and determines memory content. This setup makes agents vulnerable to the Self-Confirmation Trap: wrong-but-self-consistent trajectories are misidentified as successful experience, leading to cumulative errors during retrieval and reuse. To address this issue, we propose EDV, an Execute-Distill-Verify framework for reliable experience learning. In the Execute stage, multiple heterogeneous agents explore the same task space in parallel to generate diverse candidate trajectories. In the Distill stage, a dedicated third-party agent comparatively analyzes these trajectories to produce candidate experiences, reducing executor-centric summarization bias. In the Verify stage, the execution group validates candidates via a consensus mechanism, and only approved experiences are written into shared or private memory. By decoupling the three stages, EDV transforms experience learning from isolated self-reflection into collaborative construction, filtering erroneous and noisy content before memory insertion. We evaluate EDV on three challenging long-horizon benchmarks: tau2-bench, Mind2Web and MMTB. Results show EDV consistently outperforms strong baselines, validating that reliable experience construction is essential for robust agent self-evolution. Our code is available at https://github.com/shidingz/EDV.