Agent Lumos: Unified and Modular Training for Open-Source Language Agents

📄 arXiv: 2311.05657v3 📥 PDF

作者: Da Yin, Faeze Brahman, Abhilasha Ravichander, Khyathi Chandu, Kai-Wei Chang, Yejin Choi, Bill Yuchen Lin

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-11-09 (更新: 2024-07-10)

备注: Accepted to ACL 2024 Main Conference; Camera Ready. Project website: https://allenai.github.io/lumos/

💡 一句话要点

提出LUMOS框架以解决开源语言代理的训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开源代理 模块化设计 高层目标生成 复杂交互任务 深度学习

📋 核心要点

  1. 现有闭源代理在复杂交互任务中缺乏可负担性和透明性，导致可重复性差。
  2. LUMOS框架通过统一模块化架构，结合规划和基础模块，实现高效的开源代理训练。
  3. 在9个数据集上，LUMOS在多项任务中超越了现有大型开源代理和GPT代理，展现出良好的泛化能力。

📝 摘要（中文）

闭源代理存在诸多问题，如缺乏可负担性、透明性和可重复性，尤其在复杂交互任务中更为明显。这促使了开源替代方案的发展。我们介绍了LUMOS，这是一个用于训练开源LLM基础代理的框架。LUMOS具有可学习的统一模块化架构，包含一个学习高层子目标生成的规划模块和一个将这些目标转化为动作的基础模块。该设计允许模块化升级，适用于多种交互任务。为了促进可泛化的代理学习，我们收集了大规模、高质量的训练注释，涵盖了多种复杂交互任务的真实推理依据。在9个数据集上，LUMOS展现出多个关键优势：在每种任务类型的保留数据集上超越多个大型开源代理，甚至在问答和网络任务中超过GPT代理；在链式思维和非模块化集成训练的开源代理中表现更佳；有效泛化到未见任务，超越33B规模代理和领域特定代理。

🔬 方法详解

问题定义：本论文旨在解决现有闭源语言代理在复杂交互任务中的可负担性、透明性和可重复性不足的问题。现有方法往往缺乏有效的模块化设计，导致难以适应多样化的任务需求。

核心思路：LUMOS框架采用可学习的统一模块化架构，结合规划模块和基础模块，旨在通过高层次的子目标生成和有效的动作执行来提升代理的性能和适应性。这样的设计使得代理能够灵活应对不同的交互任务。

技术框架：LUMOS的整体架构包括三个主要模块：规划模块负责生成高层次的子目标，基础模块将这些目标转化为具体动作，执行模块则利用多种工具进行任务执行。各模块之间的协同工作确保了代理的高效性和灵活性。

关键创新：LUMOS的主要创新在于其模块化设计和高层次目标生成能力，使得代理能够在不同任务中实现更好的性能。这一设计与传统的非模块化集成训练方法形成鲜明对比，后者往往难以适应新任务。

关键设计：LUMOS在参数设置上采用了动态调整机制，以适应不同任务的需求。损失函数设计上，结合了目标生成和动作执行的多重损失，确保训练过程中的有效反馈。网络结构上，采用了深度学习模型以增强代理的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在9个数据集的实验中，LUMOS在每种任务类型的保留数据集上超越了多个大型开源代理，尤其在问答和网络任务中表现优异，甚至超过了GPT代理。此外，LUMOS在未见任务上的泛化能力显著，超越了33B规模的代理和领域特定代理，展示了其强大的适应性和学习能力。

🎯 应用场景

LUMOS框架的潜在应用领域包括智能客服、自动化问答系统和复杂任务管理等。其模块化设计使得在不同场景下的快速适应成为可能，未来可广泛应用于多种交互式人工智能系统中，提升用户体验和系统效率。

📄 摘要（原文）

Closed-source agents suffer from several issues such as a lack of affordability, transparency, and reproducibility, particularly on complex interactive tasks. This motivates the development of open-source alternatives. We introduce LUMOS, one of the first frameworks for training open-source LLM-based agents. LUMOS features a learnable, unified, and modular architecture with a planning module that learns high-level subgoal generation, and a grounding module trained to translate these into actions using various tools in the execution module. The design allows for modular upgrades and wider applicability to diverse interactive tasks. To foster generalizable agent learning, we collect large-scale, unified, and high-quality training annotations derived from diverse ground-truth reasoning rationales across various complex interactive tasks. On 9 datasets, LUMOS exhibits several key advantages: (1) LUMOS excels multiple larger open-source agents on the held-out datasets (unused for training) for each task type. LUMOS even surpasses GPT agents on QA and web tasks; (2) LUMOS outperforms open-source agents produced by chain-of-thoughts and unmodularized integrated training; and (3) LUMOS effectively generalizes to unseen tasks, outperforming 33B-scale agents and domain-specific agents.