JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models
作者: Zihao Wang, Shaofei Cai, Anji Liu, Yonggang Jin, Jinbing Hou, Bowei Zhang, Haowei Lin, Zhaofeng He, Zilong Zheng, Yaodong Yang, Xiaojian Ma, Yitao Liang
分类: cs.AI
发布日期: 2023-11-10 (更新: 2023-11-30)
备注: update project page
💡 一句话要点
提出JARVIS-1以解决开放世界多任务智能体的规划与控制问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放世界智能体 多模态学习 任务规划 记忆增强 Minecraft
📋 核心要点
- 现有方法在开放世界任务中面临挑战，尤其是在任务数量潜在无限的情况下，缺乏逐步增强任务完成能力的机制。
- JARVIS-1通过结合多模态输入和记忆增强的多模态语言模型，能够生成复杂的计划并执行控制，适应开放世界环境。
- 在实验中，JARVIS-1在短时间任务中表现接近完美，并在经典的长时间任务中超越了现有最先进智能体的可靠性，提升幅度达到5倍。
📝 摘要（中文）
实现具有类人规划和控制能力的开放世界多任务智能体是功能性通用智能体的重要里程碑。现有方法在处理某些长时间任务时表现良好，但在面对潜在无限的开放世界任务时仍然存在困难，且缺乏随着游戏时间推移逐步增强任务完成能力的能力。本文提出了JARVIS-1，一个能够感知多模态输入（视觉观察和人类指令）、生成复杂计划并执行具身控制的开放世界智能体，特别是在挑战性较大的Minecraft环境中。JARVIS-1基于预训练的多模态语言模型，能够将视觉观察和文本指令映射为计划，并最终将计划传递给目标条件控制器。JARVIS-1配备了多模态记忆，利用预训练知识和实际游戏生存经验来促进规划。JARVIS-1是现有Minecraft中最通用的智能体，能够完成超过200个不同的任务，表现出色。
🔬 方法详解
问题定义：本文旨在解决开放世界环境中多任务智能体在规划与控制方面的不足，尤其是在任务数量无限且缺乏动态适应能力的情况下。现有方法在处理长时间任务时表现不佳，无法有效利用游戏时间进行任务完成的增强。
核心思路：JARVIS-1的核心思路是结合多模态输入（视觉和文本）与记忆增强机制，利用预训练的多模态语言模型生成复杂的任务计划，并通过目标条件控制器执行这些计划。这样的设计使得智能体能够在开放世界中灵活应对多样化的任务。
技术框架：JARVIS-1的整体架构包括三个主要模块：多模态输入处理模块、计划生成模块和目标条件控制模块。首先，智能体接收视觉观察和文本指令，然后通过多模态语言模型生成相应的计划，最后将计划传递给控制器进行执行。
关键创新：JARVIS-1的主要创新在于引入了多模态记忆机制，使得智能体不仅能利用预训练知识，还能结合自身的游戏经验进行动态规划。这一创新使得JARVIS-1在任务适应性和完成能力上显著优于现有方法。
关键设计：在设计中，JARVIS-1采用了特定的损失函数来优化计划生成的准确性，并通过调整网络结构以适应多模态输入的特性。此外，智能体的记忆模块能够有效存储和检索游戏中的关键经验，进一步提升任务完成的效率。
🖼️ 关键图片
📊 实验亮点
在实验中，JARVIS-1在短时间任务中几乎达到完美表现，而在经典的长时间任务$ exttt{ObtainDiamondPickaxe}$中，其可靠性比现有最先进的智能体提升了5倍，成功完成了更长时间和更具挑战性的任务，显示出其卓越的适应能力和任务完成能力。
🎯 应用场景
JARVIS-1的研究成果在多个领域具有潜在应用价值，包括游戏智能体、机器人控制、虚拟助手等。其在开放世界环境中的表现为未来开发更智能的通用人工智能奠定了基础，能够在复杂和动态的环境中进行自主决策和任务执行。
📄 摘要（原文）
Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. JARVIS-1 is the existing most general agent in Minecraft, capable of completing over 200 different tasks using control and observation space similar to humans. These tasks range from short-horizon tasks, e.g., "chopping trees" to long-horizon tasks, e.g., "obtaining a diamond pickaxe". JARVIS-1 performs exceptionally well in short-horizon tasks, achieving nearly perfect performance. In the classic long-term task of $\texttt{ObtainDiamondPickaxe}$, JARVIS-1 surpasses the reliability of current state-of-the-art agents by 5 times and can successfully complete longer-horizon and more challenging tasks. The project page is available at https://craftjarvis.org/JARVIS-1