DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution
作者: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di
分类: cs.MA, cs.LG
发布日期: 2026-07-29
备注: 9 pages
💡 一句话要点
提出DREvo以解决历史经验在自我进化中的有效性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我进化 历史经验 动态评估 智能代理 性能优化
📋 核心要点
- 现有自我进化方法在利用历史经验时，缺乏动态评估和明确的搜索方向，导致性能不稳定。
- DREvo通过集成功能级证据锚定和状态依赖证据重新校准，提升历史经验的有效性和可操作性。
- 在实验中，DREvo在五个基准测试中表现优异，平均提升了16.2%和14.2%的准确率。
📝 摘要（中文）
在大型语言模型代理的性能中，构建高效的自我进化机制至关重要。现有方法在利用历史经验时存在动态重新评估不足和缺乏明确的可操作搜索方向等问题，导致性能波动。为此，本文提出DREvo方法，通过功能级证据锚定、状态依赖证据重新校准和角色条件搜索意图蒸馏，来识别有效的历史证据并指导下一步进化。在有限的进化预算下，DREvo展现出更平滑的进化轨迹，并在五个基准测试中取得最高准确率，相较于基线在领域推理和代理任务上分别提升了16.2%和14.2%。
🔬 方法详解
问题定义：本文旨在解决现有自我进化方法在利用历史经验时的动态评估不足和缺乏明确搜索方向的问题。这些不足导致了性能的不稳定性和高效能自我进化的困难。
核心思路：DREvo的核心思路是通过动态评估历史经验的有效性，并将其转化为可操作的搜索方向，从而指导自我进化过程。这种设计旨在减少性能波动，提高进化效率。
技术框架：DREvo的整体架构包括三个主要模块：功能级证据锚定、状态依赖证据重新校准和角色条件搜索意图蒸馏。首先，通过证据锚定来识别有效的历史经验；其次，利用状态依赖校准来调整这些经验的适用性；最后，通过角色条件蒸馏来明确搜索意图。
关键创新：DREvo的主要创新在于其动态评估和校准机制，使得历史经验能够更有效地指导自我进化。这与现有方法的静态处理方式形成了鲜明对比，显著提升了进化的稳定性和效率。
关键设计：在DREvo中，关键的参数设置包括证据锚定的阈值、状态依赖校准的算法选择以及蒸馏过程中的损失函数设计。这些设计确保了模型在进化过程中的灵活性和适应性。
🖼️ 关键图片
📊 实验亮点
DREvo在五个基准测试中表现出色，达到了最高的准确率。与基线相比，在领域推理和代理任务上分别提升了16.2%和14.2%，展现了其在有限进化预算下的显著优势。
🎯 应用场景
DREvo的研究成果在多个领域具有潜在应用价值，尤其是在需要高效自我进化的智能代理系统中。其方法可以用于优化大型语言模型的性能，提升智能体在复杂任务中的表现，未来可能推动智能系统的自主学习与适应能力的发展。
📄 摘要（原文）
Harness plays a critical role in large language model agent performance, and building a high-performing harness requires substantial expert effort. Therefore, recent research has increasingly explored harness self-evolution, which iteratively proposes, evaluates, and improves harnesses using historical trial experience. However, accumulated historical experience does not always translate into stable search guidance, and performance often fluctuates substantially across evolution iterations, making it difficult to reliably discover high-performing harnesses under a limited evolution budget. We identify two limitations in how existing harness self-evolution methods leverage historical experience: (1) Lack of dynamic reassessment of whether historical experience remains valid for the current harness, and (2) Lack of explicit mechanisms for translating valid historical experience into actionable search directions. To address these limitations, we propose a new harness self-evolution method, named DREvo, which integrates function-level evidence anchoring, state-dependent evidence recalibration, and role-conditioned search intent distillation to determine which historical evidence remains valid and where the harness should evolve next. Under limited evolution budgets, DREvo exhibits smoother evolution trajectories, achieves the highest accuracy on all five benchmarks, and delivers average gains of 16.2% and 14.2% over the evaluated baselines on domain reasoning and agentic tasks, respectively.