Experiential Co-Learning of Software-Developing Agents

📄 arXiv: 2312.17025v3 📥 PDF

作者: Chen Qian, Yufan Dang, Jiahao Li, Wei Liu, Zihao Xie, Yifei Wang, Weize Chen, Cheng Yang, Xin Cong, Xiaoyin Che, Zhiyuan Liu, Maosong Sun

分类: cs.CL, cs.AI, cs.LG, cs.SE

发布日期: 2023-12-28 (更新: 2024-06-05)

备注: Accepted to ACL 2024, https://github.com/OpenBMB/ChatDev

🔗 代码/项目: GITHUB

💡 一句话要点

提出Experiential Co-Learning框架，提升LLM智能体在软件开发中的协同效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM智能体 软件开发 协同学习 经验学习 自主智能体

📋 核心要点

  1. 现有LLM智能体在软件开发中缺乏经验复用，导致重复犯错和效率低下。
  2. 提出Experiential Co-Learning框架，指导者和助手智能体共享历史经验，加速学习。
  3. 实验证明该框架能有效提升LLM智能体处理新软件开发任务的能力。

📝 摘要（中文）

大型语言模型（LLMs）的最新进展为各个领域带来了显著变化，特别是通过LLM驱动的自主智能体。一个典型的场景是软件开发，其中LLM智能体展示了高效的协作、任务分工和软件质量保证，显著减少了人工干预的需求。然而，这些智能体经常独立执行各种任务，而没有从过去的经验中受益，这导致在多步骤任务执行中重复犯错和效率低下。为此，我们引入了Experiential Co-Learning，这是一种新颖的LLM智能体学习框架，其中指导者和助手智能体从其历史轨迹中收集面向捷径的经验，并将这些过去的经验用于未来的任务执行。广泛的实验表明，该框架使智能体能够更有效地处理未见过的软件开发任务。我们预计我们的见解将引导LLM智能体朝着增强自主性的方向发展，并有助于它们在合作学习中的进化。

🔬 方法详解

问题定义：论文旨在解决LLM驱动的软件开发智能体在多步骤任务执行中，由于缺乏经验复用而导致的效率低下和重复犯错的问题。现有方法通常让智能体独立完成任务，忽略了历史经验的积累和利用，使得智能体在面对相似任务时无法快速找到最优解。

核心思路：论文的核心思路是让智能体从历史轨迹中学习并共享经验，从而避免重复探索，提高任务执行效率。具体来说，通过构建一个Experiential Co-Learning框架，让指导者和助手智能体协同学习，共同积累和利用经验。指导者负责提供指导和反馈，助手负责执行任务并学习经验。

技术框架：Experiential Co-Learning框架包含两个主要角色：指导者智能体和助手智能体。整体流程如下：1) 智能体接收新的软件开发任务；2) 智能体首先尝试利用历史经验来解决问题；3) 如果历史经验不足，智能体则进行探索，并记录探索过程中的关键步骤和结果，形成新的经验；4) 指导者智能体对助手智能体的执行过程进行评估，并提供反馈；5) 智能体将新的经验存储到经验库中，供后续任务使用。

关键创新：该论文的关键创新在于提出了Experiential Co-Learning框架，将经验学习和协同学习相结合，有效地解决了LLM智能体在软件开发中缺乏经验复用的问题。与现有方法相比，该框架能够让智能体从历史经验中学习，避免重复探索，提高任务执行效率。

关键设计：经验的表示和存储是该框架的关键设计之一。论文采用了一种面向捷径的经验表示方法，只记录任务执行过程中的关键步骤和结果，从而减少了经验库的存储空间。此外，论文还设计了一种经验检索机制，能够快速找到与当前任务相关的历史经验。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知内容。

📊 实验亮点

实验结果表明，Experiential Co-Learning框架能够显著提升LLM智能体在软件开发任务中的性能。具体来说，该框架使智能体能够更有效地处理未见过的软件开发任务，在任务完成率和执行效率方面均优于基线方法。具体的性能数据和提升幅度在摘要中未给出，属于未知内容。

🎯 应用场景

该研究成果可应用于自动化软件开发、智能代码生成、软件缺陷检测与修复等领域。通过让LLM智能体从历史经验中学习，可以显著提高软件开发的效率和质量，降低开发成本。未来，该技术有望推动软件开发行业的智能化转型。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have brought significant changes to various domains, especially through LLM-driven autonomous agents. A representative scenario is in software development, where LLM agents demonstrate efficient collaboration, task division, and assurance of software quality, markedly reducing the need for manual involvement. However, these agents frequently perform a variety of tasks independently, without benefiting from past experiences, which leads to repeated mistakes and inefficient attempts in multi-step task execution. To this end, we introduce Experiential Co-Learning, a novel LLM-agent learning framework in which instructor and assistant agents gather shortcut-oriented experiences from their historical trajectories and use these past experiences for future task execution. The extensive experiments demonstrate that the framework enables agents to tackle unseen software-developing tasks more effectively. We anticipate that our insights will guide LLM agents towards enhanced autonomy and contribute to their evolutionary growth in cooperative learning. The code and data are available at https://github.com/OpenBMB/ChatDev.