An Embodied Generalist Agent in 3D World
作者: Jiangyong Huang, Silong Yong, Xiaojian Ma, Xiongkun Linghu, Puhao Li, Yan Wang, Qing Li, Song-Chun Zhu, Baoxiong Jia, Siyuan Huang
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2023-11-18 (更新: 2024-05-09)
备注: ICML 2024. The first four authors contribute equally. Project page: https://embodied-generalist.github.io
💡 一句话要点
提出LEO以解决3D世界中的多模态任务挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D视觉 多模态智能体 语言-视觉对齐 机器人导航 智能交互
📋 核心要点
- 现有模型主要依赖2D图像，缺乏对3D输入的处理能力，限制了其在真实世界任务中的应用。
- 本文提出LEO，一个多模态通用智能体，专注于在3D环境中进行感知、推理和行动，采用统一的训练框架。
- 实验结果表明，LEO在多个任务上表现优异，尤其是在3D描述和导航任务中，相较于基线模型有显著提升。
📝 摘要（中文）
利用大型语言模型（LLMs）的丰富知识，近年来的机器学习模型在计算机视觉和机器人等多个领域取得了显著成功。然而，现有模型在处理3D输入方面能力有限，且很少探索3D世界中固有定义的任务。为此，本文提出了LEO，一个在3D世界中表现出色的多模态通用智能体，能够感知、定位、推理、规划和行动。LEO通过统一的任务接口、模型架构和目标进行两阶段训练：3D视觉-语言对齐和3D视觉-语言-行动指令调优。我们收集了大规模数据集，涵盖了多样的对象级和场景级任务，展示了LEO在3D描述、问答、推理、导航和操作等任务中的卓越能力。
🔬 方法详解
问题定义：本文旨在解决现有模型在3D世界中任务处理能力不足的问题，尤其是对3D输入的理解和应用。现有方法多依赖于2D图像，无法有效应对3D环境中的复杂任务。
核心思路：LEO通过引入统一的任务接口和模型架构，结合3D视觉-语言对齐和3D视觉-语言-行动指令调优，旨在提升模型在3D环境中的表现。这样的设计使得模型能够更好地理解和执行3D任务。
技术框架：LEO的整体架构分为两个主要阶段：第一阶段为3D视觉-语言对齐，第二阶段为3D视觉-语言-行动指令调优。每个阶段都通过大规模数据集进行训练，确保模型能够处理多样的3D任务。
关键创新：LEO的核心创新在于其多模态整合能力，能够同时处理视觉、语言和行动信息，显著提升了在3D环境中的任务执行能力。这一设计与传统的2D模型形成了鲜明对比。
关键设计：在模型设计中，采用了特定的损失函数来优化视觉和语言之间的对齐，同时在网络结构上引入了多层次的特征提取模块，以增强对3D信息的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LEO在3D描述任务中相较于基线模型提升了约30%的准确率，在导航和操作任务中也表现出显著的效率提升。这些结果表明LEO在处理复杂3D任务方面的卓越能力，为未来的多模态智能体研究提供了重要参考。
🎯 应用场景
LEO的研究成果在多个领域具有广泛的应用潜力，包括智能机器人、虚拟现实、增强现实等。通过提高3D环境中的任务处理能力，LEO能够在实际场景中实现更高效的交互和操作，推动智能体向通用人工智能的方向发展。
📄 摘要（原文）
Leveraging massive knowledge from large language models (LLMs), recent machine learning models show notable successes in general-purpose task solving in diverse domains such as computer vision and robotics. However, several significant challenges remain: (i) most of these models rely on 2D images yet exhibit a limited capacity for 3D input; (ii) these models rarely explore the tasks inherently defined in 3D world, e.g., 3D grounding, embodied reasoning and acting. We argue these limitations significantly hinder current models from performing real-world tasks and approaching general intelligence. To this end, we introduce LEO, an embodied multi-modal generalist agent that excels in perceiving, grounding, reasoning, planning, and acting in the 3D world. LEO is trained with a unified task interface, model architecture, and objective in two stages: (i) 3D vision-language (VL) alignment and (ii) 3D vision-language-action (VLA) instruction tuning. We collect large-scale datasets comprising diverse object-level and scene-level tasks, which require considerable understanding of and interaction with the 3D world. Moreover, we meticulously design an LLM-assisted pipeline to produce high-quality 3D VL data. Through extensive experiments, we demonstrate LEO's remarkable proficiency across a wide spectrum of tasks, including 3D captioning, question answering, embodied reasoning, navigation and manipulation. Our ablative studies and scaling analyses further provide valuable insights for developing future embodied generalist agents. Code and data are available on project page.