AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents
作者: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu
分类: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG
发布日期: 2024-01-23 (更新: 2024-07-02)
备注: 26 pages, 9 figures, ICRA 2024 VLMNM Workshop
💡 一句话要点
提出AutoRT以解决机器人自主学习数据不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身基础模型 机器人学习 视觉-语言模型 大型语言模型 自主操作 数据收集 多样性提升
📋 核心要点
- 现有的具身基础模型在训练过程中面临缺乏真实世界数据的挑战，限制了其在复杂环境中的应用。
- AutoRT通过结合视觉-语言模型和大型语言模型，提出了一种新方法来扩展机器人在未知场景中的操作能力。
- 实验结果显示，AutoRT成功为20个机器人生成指令，并收集了77,000个真实实验，数据多样性显著提升。
📝 摘要（中文）
基础模型结合语言、视觉和动作的能力，已在利用互联网规模数据进行有效任务推理方面取得了革命性进展。然而，训练具身基础模型的一个关键挑战是缺乏基于物理世界的数据。本文提出了AutoRT，一个利用现有基础模型的系统，能够在完全未知的场景中以最小的人类监督扩展操作机器人部署。AutoRT利用视觉-语言模型进行场景理解和基础，进一步使用大型语言模型提出多样化的新指令供机器人执行。通过利用基础模型的知识指导数据收集，AutoRT能够有效推理自主权权衡和安全性，同时显著扩展机器人学习的数据收集。我们展示了AutoRT为超过20个机器人在多个建筑中提出指令，并通过遥控和自主机器人策略收集了77,000个真实机器人实验。实验表明，AutoRT收集的“野外”数据显著更具多样性，且其使用大型语言模型使得指令跟随数据收集的机器人能够更好地与人类偏好对齐。
🔬 方法详解
问题定义：本文旨在解决具身基础模型在训练过程中缺乏基于物理世界的数据这一具体问题。现有方法在复杂环境中的应用受到限制，难以实现有效的自主学习。
核心思路：AutoRT的核心思路是利用现有的基础模型，通过视觉-语言模型进行场景理解，并使用大型语言模型生成多样化的指令，从而在最小人类监督下扩展机器人操作能力。
技术框架：AutoRT的整体架构包括数据收集、指令生成和机器人执行三个主要模块。首先，通过视觉-语言模型理解环境；然后，利用大型语言模型生成指令；最后，机器人根据指令进行操作。
关键创新：AutoRT的主要创新在于其利用基础模型的知识来指导数据收集，这使得机器人能够在未知环境中进行有效的自主学习，并在安全性和自主权之间进行合理权衡。
关键设计：在设计中，AutoRT采用了特定的损失函数来优化指令生成的多样性，并通过调整模型参数来提高指令跟随的准确性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AutoRT成功为超过20个机器人生成指令，并收集了77,000个真实实验数据。与传统方法相比，AutoRT收集的数据在多样性上显著提升，且其指令跟随能力更好地符合人类偏好。
🎯 应用场景
AutoRT的研究成果在多个领域具有潜在应用价值，包括智能家居、工业自动化和服务机器人等。通过提升机器人在复杂环境中的自主学习能力，AutoRT能够推动机器人技术的广泛应用，提升人类生活质量和工作效率。
📄 摘要（原文）
Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.