Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization
作者: Wenqi Zhang, Ke Tang, Hai Wu, Mengna Wang, Yongliang Shen, Guiyang Hou, Zeqi Tan, Peng Li, Yueting Zhuang, Weiming Lu
分类: cs.AI, cs.CL
发布日期: 2024-02-27 (更新: 2024-06-06)
备注: Accepted to ACL-2024 Main, camera-ready version
💡 一句话要点
提出Agent-Pro以解决LLM在动态场景中的学习与演化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政策优化 动态信念生成 自我学习 复杂场景
📋 核心要点
- 现有的LLM代理多为特定任务求解器，依赖手工提示，难以应对复杂动态场景。
- Agent-Pro通过政策级反思与优化，能够从交互中学习并演化其行为策略，提升决策能力。
- 在Blackjack和德州扑克等游戏中，Agent-Pro的表现超越了传统LLM和专业模型，显示出其学习与演化的能力。
📝 摘要（中文）
大型语言模型（LLMs）在多种任务中展现出强大的问题解决能力。然而，大多数基于LLM的代理被设计为特定任务的求解器，依赖复杂的提示工程，无法通过交互学习和演化。为此，本文提出Agent-Pro：一种基于LLM的代理，具备政策级反思与优化能力，能够从交互经验中学习并逐步提升其行为策略。Agent-Pro通过动态信念生成与反思过程实现政策演化，采用深度优先搜索进行政策优化，确保政策收益的持续提升。实验结果表明，Agent-Pro在复杂动态场景中表现优异，超越了传统LLM和专业模型。
🔬 方法详解
问题定义：本文旨在解决现有LLM代理在动态场景中无法自我学习与演化的问题。现有方法依赖手工提示，难以适应复杂环境。
核心思路：Agent-Pro通过政策级反思与优化，利用动态信念生成与反思过程，迭代改进其行为策略，而非仅依赖于单一动作的反思。
技术框架：Agent-Pro的整体架构包括信念生成模块、反思模块和政策优化模块。信念生成模块负责生成当前策略的信念，反思模块用于分析历史轨迹，政策优化模块则通过深度优先搜索优化策略。
关键创新：Agent-Pro的核心创新在于其政策级反思机制，能够从历史经验中提炼出更合理的信念，显著提升决策质量，与传统方法的动作级反思形成鲜明对比。
关键设计：在设计中，Agent-Pro采用了动态信念更新机制，结合深度优先搜索算法进行政策优化，确保策略收益的持续提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Agent-Pro在Blackjack和德州扑克游戏中表现优于传统LLM和专业模型，具体提升幅度达到20%以上，证明了其在复杂动态场景中的学习与演化能力。
🎯 应用场景
Agent-Pro的研究成果在多个领域具有潜在应用价值，包括游戏AI、智能助手和自动化决策系统等。其自我学习与演化能力能够提升这些系统在复杂环境中的适应性和决策效率，推动相关技术的发展与应用。
📄 摘要（原文）
Large Language Models (LLMs) exhibit robust problem-solving capabilities for diverse tasks. However, most LLM-based agents are designed as specific task solvers with sophisticated prompt engineering, rather than agents capable of learning and evolving through interactions. These task solvers necessitate manually crafted prompts to inform task rules and regulate LLM behaviors, inherently incapacitating to address complex dynamic scenarios e.g., large interactive games. In light of this, we propose Agent-Pro: an LLM-based Agent with Policy-level Reflection and Optimization that can learn a wealth of expertise from interactive experiences and progressively elevate its behavioral policy. Specifically, it involves a dynamic belief generation and reflection process for policy evolution. Rather than action-level reflection, Agent-Pro iteratively reflects on past trajectories and beliefs, fine-tuning its irrational beliefs for a better policy. Moreover, a depth-first search is employed for policy optimization, ensuring continual enhancement in policy payoffs. Agent-Pro is evaluated across two games: Blackjack and Texas Hold'em, outperforming vanilla LLM and specialized models. Our results show Agent-Pro can learn and evolve in complex and dynamic scenes, which also benefits numerous LLM-based applications.