OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks
作者: Siqi Wang, Xinlin Li, Zhenglin Li, Li Li
分类: cs.AI
发布日期: 2026-08-10
💡 一句话要点
提出OpenLoopEvolve框架以解决长时间复杂任务中的自我演化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间复杂任务 自我演化 循环策略 智能体控制 在线学习 离线学习 动态环境 决策优化
📋 核心要点
- 现有方法在长时间复杂任务中难以有效积累和重用控制经验，限制了智能体的适应能力。
- OpenLoopEvolve框架通过将循环策略视为可管理的资产，支持在线和离线的自我演化，提升智能体的表现。
- 在YC-Bench基准测试中，OLE显著提高了任务成功率和风险指标，相较于固定初始循环策略表现更佳。
📝 摘要（中文）
长时间复杂任务要求智能体在不断变化的环境中反复观察状态、制定计划、调用工具、验证结果并从失败中恢复。然而，现有控制经验往往局限于单一上下文或固定提示，难以在历史轨迹中积累和重用。本文提出OpenLoopEvolve（OLE），一个以循环策略为中心的自我演化框架。OLE将智能体的观察、规划、记忆、行动、验证、恢复、停止和预算控制表示为可移植的策略资产，并提供在线和离线演化模式。实验结果表明，OLE在模拟商业基准YC-Bench上显著提高了任务表现和成功率。
🔬 方法详解
问题定义：本文旨在解决长时间复杂任务中智能体控制经验的积累与重用问题。现有方法往往无法有效适应不断变化的环境，导致智能体表现不佳。
核心思路：OpenLoopEvolve框架的核心在于将循环策略视为可管理的资产，通过在线和离线演化模式来提升智能体的适应能力和性能。
技术框架：OLE包括观察、规划、记忆、行动、验证、恢复、停止和预算控制等模块。在线模式根据反馈生成候选策略，离线模式则从历史轨迹中搜索候选策略。
关键创新：OLE的主要创新在于引入了循环策略的版本和谱系管理，支持智能体在不同任务边界激活新策略，并根据后续反馈进行监控和回滚。
关键设计：OLE采用大语言模型进行自主提案，结合Champion-Challenger评估机制，确保策略的稳健发布。
🖼️ 关键图片
📊 实验亮点
在YC-Bench基准测试中，OpenLoopEvolve框架的在线和离线模式均显著提高了任务的整体表现和成功率。与固定初始循环策略相比，任务成功率和风险指标均有明显改善，展示了OLE在复杂任务中的有效性。
🎯 应用场景
OpenLoopEvolve框架在复杂任务的智能体控制中具有广泛的应用潜力，特别是在动态环境下的自动化决策、机器人控制和智能系统优化等领域。其自我演化能力将推动智能体在实际应用中的表现提升，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon complex tasks require agents to repeatedly observe states, formulate plans, invoke tools, verify results, and recover from failures in continuously changing environments. However, such control experience often remains confined to a single context or a fixed prompt, and is difficult to accumulate and reuse across historical traces. This paper presents OpenLoopEvolve (OLE), a self-evolution framework centered on the Loop Policy. OLE represents an agent's observation, planning, memory, action, verification, recovery, stopping, and budget control as portable policy assets with versions and lineages, and provides online and offline evolution modes that can be selected according to practical needs: the online mode triggers candidate generation based on feedback from continuous operation, whereas the offline mode searches for candidate policies from archived traces and failure evidence. Both modes share an evolution mechanism consisting of autonomous proposals by a large language model, Champion--Challenger paired evaluation, and robust release. Policies released online are activated at a subsequent task boundary, monitored using subsequent feedback, and rolled back to their parent versions when degradation conditions are met. On the simulated business benchmark YC-Bench, both modes improve aggregate task performance, task success rate, and risk metrics relative to a fixed initial Loop Policy. The results indicate that treating the Loop Policy as a governable asset can support the accumulation, comparison, release, and reuse of control experience and improve agent performance on long-horizon complex tasks.