Executable Code Actions Elicit Better LLM Agents

📄 arXiv: 2402.01030v4 📥 PDF

作者: Xingyao Wang, Yangyi Chen, Lifan Yuan, Yizhe Zhang, Yunzhu Li, Hao Peng, Heng Ji

分类: cs.CL, cs.AI

发布日期: 2024-02-01 (更新: 2024-06-07)

备注: Accepted by ICML 2024; Code, data, model, and demo are available at https://github.com/xingyaoww/code-act

💡 一句话要点

提出可执行代码行动以解决LLM代理灵活性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可执行代码 动态交互 智能代理 自动化控制 自然语言处理 多轮交互

📋 核心要点

  1. 现有的LLM代理在执行操作时受到预定义工具和行动空间的限制，缺乏灵活性和扩展性。
  2. 本文提出的CodeAct通过可执行的Python代码整合LLM代理的行动，允许动态修正和多轮交互。
  3. 实验结果显示，CodeAct在多个基准测试中成功率提高了20%，并且能够与用户自然语言协作。

📝 摘要（中文）

大型语言模型（LLM）代理能够执行多种操作，如调用工具和控制机器人，展现出解决现实问题的巨大潜力。然而，现有方法通常通过生成JSON或文本的预定义格式来提示LLM代理执行操作，这限制了行动空间和灵活性。本文提出使用可执行的Python代码，将LLM代理的行动整合为统一的行动空间（CodeAct）。通过与Python解释器集成，CodeAct能够执行代码行动并在多轮交互中动态修正先前的行动或根据新观察生成新行动。对17个LLM在API-Bank和新创建基准上的广泛分析表明，CodeAct的成功率比广泛使用的替代方案高出20%。

🔬 方法详解

问题定义：本文解决的是现有LLM代理在执行操作时灵活性不足的问题。现有方法通常依赖于预定义的工具和格式，限制了代理的行动空间和组合能力。

核心思路：论文提出通过可执行的Python代码来整合LLM代理的行动，形成一个统一的行动空间（CodeAct），从而提高代理的灵活性和适应性。这样的设计使得代理能够在多轮交互中动态调整其行为。

技术框架：整体架构包括LLM代理、Python解释器和CodeAct模块。LLM代理生成可执行代码，Python解释器执行这些代码并反馈结果，CodeAct模块负责管理和整合行动。

关键创新：最重要的技术创新点在于将可执行代码引入LLM代理的行动生成中，使得代理能够在多轮交互中动态修正和生成新行动，显著提升了代理的灵活性和功能。

关键设计：在设计中，关键参数包括代码执行的安全性和效率，损失函数用于优化代理的行动选择，网络结构则基于现有的LLM架构进行微调，以适应代码生成的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CodeAct在API-Bank和新基准测试中成功率比传统方法高出20%。此外，CodeActAgent经过微调后，能够执行复杂任务，如模型训练，并具备自我调试能力，展现出强大的实用性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化控制系统和人机交互等。通过执行可解释的代码，LLM代理能够更有效地与环境互动，提升用户体验和工作效率。未来，该技术可能在复杂任务的自动化和智能决策中发挥重要作用。

📄 摘要（原文）

Large Language Model (LLM) agents, capable of performing a broad range of actions, such as invoking tools and controlling robots, show great potential in tackling real-world challenges. LLM agents are typically prompted to produce actions by generating JSON or text in a pre-defined format, which is usually limited by constrained action space (e.g., the scope of pre-defined tools) and restricted flexibility (e.g., inability to compose multiple tools). This work proposes to use executable Python code to consolidate LLM agents' actions into a unified action space (CodeAct). Integrated with a Python interpreter, CodeAct can execute code actions and dynamically revise prior actions or emit new actions upon new observations through multi-turn interactions. Our extensive analysis of 17 LLMs on API-Bank and a newly curated benchmark shows that CodeAct outperforms widely used alternatives (up to 20% higher success rate). The encouraging performance of CodeAct motivates us to build an open-source LLM agent that interacts with environments by executing interpretable code and collaborates with users using natural language. To this end, we collect an instruction-tuning dataset CodeActInstruct that consists of 7k multi-turn interactions using CodeAct. We show that it can be used with existing data to improve models in agent-oriented tasks without compromising their general capability. CodeActAgent, finetuned from Llama2 and Mistral, is integrated with Python interpreter and uniquely tailored to perform sophisticated tasks (e.g., model training) using existing libraries and autonomously self-debug.