Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

📄 arXiv: 2401.02117v1 📥 PDF

作者: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

分类: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY

发布日期: 2024-01-04

备注: Project website: https://mobile-aloha.github.io (Zipeng Fu and Tony Z. Zhao are project co-leads, Chelsea Finn is the advisor)

💡 一句话要点

提出Mobile ALOHA以解决双手移动操作的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模仿学习 移动操作 全身遥操作 行为克隆 机器人技术

📋 核心要点

  1. 现有的模仿学习方法主要集中在桌面操作，缺乏处理复杂移动操作的能力和灵活性。
  2. 本研究提出Mobile ALOHA，一个低成本的全身遥操作系统，旨在收集双手移动操作任务的数据。
  3. 通过与静态ALOHA数据集的共同训练，Mobile ALOHA在移动操作任务中的成功率提升了最高90%。

📝 摘要（中文）

模仿学习在机器人领域表现出色，但大多数研究集中于桌面操作，缺乏移动性和灵活性。本研究开发了Mobile ALOHA，一个低成本的全身遥操作系统，旨在模仿双手移动操作任务。通过增强现有的ALOHA系统，Mobile ALOHA能够收集数据并进行监督行为克隆。研究表明，与静态ALOHA数据集共同训练可显著提升移动操作任务的成功率，最高可达90%。该系统能够自主完成复杂的移动操作任务，如翻炒和上菜、打开双门壁橱存放重锅、呼叫并进入电梯，以及轻轻冲洗用过的锅具。

🔬 方法详解

问题定义：本论文旨在解决现有模仿学习方法在移动操作任务中的不足，尤其是缺乏灵活性和移动性的挑战。现有方法多集中于静态桌面操作，无法有效应对复杂的双手移动操作。

核心思路：论文提出Mobile ALOHA系统，通过全身遥操作和移动底座的结合，增强了数据收集的能力，从而实现对复杂移动操作的模仿学习。

技术框架：Mobile ALOHA系统包括数据收集模块、全身遥操作接口和监督行为克隆模块。数据收集模块负责记录人类示范，遥操作接口则允许操作者进行全身控制，最后通过监督学习进行行为克隆。

关键创新：最重要的创新在于将移动底座与全身遥操作结合，形成了一个低成本的系统，能够有效收集用于训练的多样化数据。这一设计使得系统能够处理更复杂的任务，与传统静态方法相比具有显著优势。

关键设计：在系统设计中，采用了特定的损失函数来优化行为克隆效果，并通过50个示范进行训练，确保了模型在复杂任务中的高成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Mobile ALOHA通过与静态ALOHA数据集的共同训练，成功率提升了最高90%。该系统能够自主完成多项复杂移动操作任务，如翻炒、上菜和打开壁橱等，展示了其在实际应用中的强大能力。

🎯 应用场景

Mobile ALOHA的研究成果在家庭服务机器人、工业自动化和医疗辅助等领域具有广泛的应用潜力。其低成本和高效能的特点使得更多的机器人能够在复杂环境中执行多样化的任务，提升了机器人技术的实用性和可及性。

📄 摘要（原文）

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io