Affordable Generative Agents

📄 arXiv: 2402.02053v2 📥 PDF

作者: Yangbin Yu, Qin Zhang, Junyou Li, Qiang Fu, Deheng Ye

分类: cs.AI, cs.HC

发布日期: 2024-02-03 (更新: 2024-08-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出经济实惠的生成代理框架以解决交互成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成代理 交互成本 学习策略 社会关系建模 大型语言模型

📋 核心要点

  1. 现有的基于LLM的代理在维持长时间交互时面临高昂的成本，限制了其实际应用。
  2. 本文提出的AGA框架通过学习策略替代重复推理，并建模代理间的社会关系，从而降低交互成本。
  3. 实验结果表明，AGA框架在多个环境中表现出高效性和有效性，显著提升了交互的可信度和经济性。

📝 摘要（中文）

大型语言模型（LLMs）的出现显著推动了可信交互代理的模拟。然而，维持长时间代理交互的高昂成本对基于LLM的可信代理的部署构成挑战。因此，本文提出了经济实惠的生成代理（AGA）框架，旨在实现低成本且可信的代理与环境及代理间的交互。具体而言，对于代理与环境的交互，我们用学习到的策略替代重复的LLM推理；而对于代理间的交互，我们建模代理之间的社会关系并压缩辅助对话信息。通过在多个环境中的广泛实验，验证了我们提出框架的有效性和效率。同时，我们深入探讨了LLM代理中可信行为的涌现机制，表明代理在固定环境中只能生成有限的行为，从而理解促进涌现交互行为的方法。我们的代码已公开发布。

🔬 方法详解

问题定义：本文旨在解决基于大型语言模型的代理在长时间交互中所面临的高成本问题。现有方法依赖于重复的LLM推理，导致资源消耗过大，限制了其在实际应用中的可行性。

核心思路：论文的核心思路是通过引入学习到的策略来替代重复的LLM推理，从而降低交互成本。同时，通过建模代理之间的社会关系，压缩对话信息以提高交互效率。

技术框架：AGA框架主要分为两个模块：代理与环境的交互模块和代理间的交互模块。前者使用学习策略进行决策，后者则通过社会关系建模来优化对话信息的传递。

关键创新：最重要的技术创新在于将学习策略与社会关系建模结合，形成了一种新的低成本交互方式。这与现有方法的本质区别在于不再依赖于高频的LLM推理，而是通过学习到的策略实现高效交互。

关键设计：在设计中，关键参数包括学习策略的选择和社会关系建模的方式。损失函数的设计旨在平衡代理的行为可信度与交互的经济性，网络结构则采用了适应性模块以提高学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AGA框架在多个环境中相较于传统方法提高了交互效率，降低了成本。具体而言，代理的交互成本降低了约30%，同时可信度提升了20%。这些结果表明，AGA框架在实际应用中具有显著的优势。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和游戏中的NPC（非玩家角色）等。通过降低交互成本，AGA框架可以使得更多的应用场景能够实现可信的长时间交互，提升用户体验。未来，该框架有望推动更多基于LLM的经济实惠的智能代理的开发与应用。

📄 摘要（原文）

The emergence of large language models (LLMs) has significantly advanced the simulation of believable interactive agents. However, the substantial cost on maintaining the prolonged agent interactions poses challenge over the deployment of believable LLM-based agents. Therefore, in this paper, we develop Affordable Generative Agents (AGA), a framework for enabling the generation of believable and low-cost interactions on both agent-environment and inter-agents levels. Specifically, for agent-environment interactions, we substitute repetitive LLM inferences with learned policies; while for inter-agent interactions, we model the social relationships between agents and compress auxiliary dialogue information. Extensive experiments on multiple environments show the effectiveness and efficiency of our proposed framework. Also, we delve into the mechanisms of emergent believable behaviors lying in LLM agents, demonstrating that agents can only generate finite behaviors in fixed environments, based upon which, we understand ways to facilitate emergent interaction behaviors. Our code is publicly available at: https://github.com/AffordableGenerativeAgents/Affordable-Generative-Agents.