SPOC: Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World

📄 arXiv: 2312.02976v2 📥 PDF

作者: Kiana Ehsani, Tanmay Gupta, Rose Hendrix, Jordi Salvador, Luca Weihs, Kuo-Hao Zeng, Kunal Pratap Singh, Yejin Kim, Winson Han, Alvaro Herrasti, Ranjay Krishna, Dustin Schwenk, Eli VanderBilt, Aniruddha Kembhavi

分类: cs.RO, cs.AI, cs.CV

发布日期: 2023-12-05 (更新: 2024-08-07)

备注: First six authors contributed equally. Project page: https://spoc-robot.github.io/

💡 一句话要点

SPOC：模仿模拟环境中的最短路径，实现真实世界中有效的导航和操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 具身智能 模仿学习 机器人导航 操作任务 Transformer网络

📋 核心要点

  1. 现有强化学习方法在长时程任务中效率低下，且依赖大量奖励塑造，而人工监督的模仿学习成本高昂。
  2. 论文提出SPOC方法，通过模仿模拟环境中专家的最短路径规划，训练智能体进行导航和操作。
  3. 实验表明，SPOC智能体仅使用RGB传感器，即可在模拟和真实世界中完成导航、探索和操作任务。

📝 摘要（中文）

强化学习（RL）与密集奖励和模仿学习（IL）与人工生成轨迹是训练现代具身智能体的最常用方法。强化学习需要大量的奖励塑造和辅助损失，对于长时程任务而言通常太慢且效率低下。虽然人工监督下的模仿学习是有效的，但大规模收集人工轨迹的成本非常高昂。在这项工作中，我们表明，模仿模拟环境中的最短路径规划器可以生成智能体，在给定语言指令的情况下，仅使用RGB传感器（没有深度图或GPS坐标）就能熟练地在模拟和真实世界中导航、探索和操作物体。这一令人惊讶的结果得益于我们的端到端、基于Transformer的SPOC架构，强大的视觉编码器与广泛的图像增强相结合，以及我们训练数据的巨大规模和多样性：在约20万个程序生成的房屋中收集了数百万帧的最短路径专家轨迹，其中包含4万个独特的3D资产。我们的模型、数据、训练代码和新提出的10任务基准测试套件CHORES可在https://spoc-robot.github.io上找到。

🔬 方法详解

问题定义：现有具身智能体训练方法，如强化学习和模仿学习，存在各自的局限性。强化学习需要精细的奖励函数设计，且训练效率较低，难以处理长时程任务。而模仿学习依赖于大量人工标注数据，成本高昂。因此，如何高效地训练具身智能体，使其具备在真实世界中导航和操作的能力，是一个重要的挑战。

核心思路：论文的核心思路是利用模拟环境中的最短路径规划器作为专家，生成大量的训练数据，然后通过模仿学习训练智能体。这种方法避免了人工标注的成本，同时利用了最短路径规划器的高效性，从而能够快速训练出具有良好导航和操作能力的智能体。

技术框架：SPOC架构是一个端到端的、基于Transformer的架构。它接收RGB图像和语言指令作为输入，输出智能体的动作。整体流程包括：1) 使用视觉编码器提取图像特征；2) 使用语言编码器提取语言指令特征；3) 将图像特征和语言特征输入Transformer网络进行融合；4) Transformer网络输出智能体的动作。

关键创新：该论文的关键创新在于：1) 使用模拟环境中的最短路径规划器作为专家，生成大规模的训练数据；2) 提出了端到端的、基于Transformer的SPOC架构，能够有效地融合视觉信息和语言信息；3) 结合了强大的视觉编码器和广泛的图像增强技术，提高了智能体的泛化能力。

关键设计：在数据生成方面，论文使用了程序生成的房屋，包含大量的3D资产，从而保证了训练数据的多样性。在网络结构方面，使用了Transformer网络，能够有效地捕捉长距离依赖关系。在训练过程中，使用了大量的图像增强技术，如随机裁剪、颜色抖动等，从而提高了智能体的鲁棒性。

📊 实验亮点

实验结果表明，SPOC方法训练的智能体在模拟和真实世界中都取得了良好的导航和操作性能。尤其是在真实世界中，SPOC智能体仅使用RGB传感器，就能成功完成复杂的任务，例如按照语言指令找到并操作特定的物体。此外，论文还提出了一个新的10任务基准测试套件CHORES，为具身智能体的研究提供了新的评估标准。

🎯 应用场景

该研究成果可应用于机器人导航、家庭服务机器人、自动驾驶等领域。例如，可以训练服务机器人根据用户的语言指令，在家庭环境中导航并完成各种操作任务，如取放物品、清洁房间等。该方法降低了机器人训练的成本，提高了机器人的智能化水平，具有广阔的应用前景。

📄 摘要（原文）

Reinforcement learning (RL) with dense rewards and imitation learning (IL) with human-generated trajectories are the most widely used approaches for training modern embodied agents. RL requires extensive reward shaping and auxiliary losses and is often too slow and ineffective for long-horizon tasks. While IL with human supervision is effective, collecting human trajectories at scale is extremely expensive. In this work, we show that imitating shortest-path planners in simulation produces agents that, given a language instruction, can proficiently navigate, explore, and manipulate objects in both simulation and in the real world using only RGB sensors (no depth map or GPS coordinates). This surprising result is enabled by our end-to-end, transformer-based, SPOC architecture, powerful visual encoders paired with extensive image augmentation, and the dramatic scale and diversity of our training data: millions of frames of shortest-path-expert trajectories collected inside approximately 200,000 procedurally generated houses containing 40,000 unique 3D assets. Our models, data, training code, and newly proposed 10-task benchmarking suite CHORES are available in https://spoc-robot.github.io.