Tube-NeRF: Efficient Imitation Learning of Visuomotor Policies from MPC using Tube-Guided Data Augmentation and NeRFs

📄 arXiv: 2311.14153v2 📥 PDF

作者: Andrea Tagliabue, Jonathan P. How

分类: cs.RO, cs.AI, cs.LG

发布日期: 2023-11-23 (更新: 2024-02-26)

备注: Video: https://youtu.be/_W5z33ZK1m4. Evolved paper from our previous work: arXiv:2210.10127

💡 一句话要点

提出Tube-NeRF以解决模仿学习中的样本效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 模仿学习 数据增强 神经辐射场 鲁棒控制 多旋翼控制 视觉运动策略 样本效率

📋 核心要点

  1. 现有模仿学习方法在样本效率和鲁棒性方面存在不足，导致训练时间长。
  2. 本文提出Tube-NeRF，通过结合鲁棒MPC和数据增强策略，提升视觉运动策略的学习效率。
  3. 实验结果表明，演示效率提高80倍，训练时间减少50%，并成功应用于实际多旋翼控制。

📝 摘要（中文）

模仿学习（IL）可以从资源密集型的模型预测控制器（MPC）中训练出计算效率高的传感器运动策略，但通常需要大量样本，导致训练时间长或鲁棒性有限。为了解决这些问题，本文结合了IL与考虑过程和感知不确定性的鲁棒MPC变体，并设计了一种数据增强策略，使基于视觉的策略学习更加高效。所提出的数据增强方法Tube-NeRF利用神经辐射场（NeRF）生成新颖的合成图像，并利用鲁棒MPC的特性（即tube）选择相关视图并高效计算相应的动作。我们将该方法应用于多旋翼的定位和轨迹跟踪任务，通过学习视觉运动策略，仅使用机载相机图像作为水平位置的唯一来源来生成控制动作。数值评估显示，演示效率提高了80倍，训练时间减少了50%。此外，我们的策略成功转移到实际多旋翼上，尽管存在较大干扰，仍实现了低跟踪误差，机载推理时间仅为1.5毫秒。

🔬 方法详解

问题定义：本文旨在解决模仿学习在训练过程中对样本效率和鲁棒性的高需求，现有方法往往需要大量样本，导致训练时间过长，且在实际应用中表现不佳。

核心思路：论文提出的Tube-NeRF方法结合了鲁棒MPC和数据增强技术，通过生成合成图像来提高样本效率，并利用鲁棒MPC的特性来选择相关视图，从而高效计算控制动作。

技术框架：整体架构包括数据增强模块、NeRF生成模块和控制策略学习模块。数据增强模块生成合成图像，NeRF模块负责图像的生成与处理，而控制策略学习模块则基于生成的图像进行策略训练。

关键创新：最重要的创新在于将NeRF与鲁棒MPC结合，利用NeRF生成的合成图像来提高模仿学习的样本效率，显著减少了对真实数据的依赖。

关键设计：在关键设计方面，论文详细描述了NeRF的网络结构和损失函数设置，以及如何通过鲁棒MPC的tube特性来选择合适的视图和动作计算策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Tube-NeRF方法在演示效率上提高了80倍，训练时间减少了50%。此外，该方法成功转移到实际多旋翼上，尽管存在较大干扰，仍实现了低跟踪误差，机载推理时间仅为1.5毫秒，展现了良好的实时性能。

🎯 应用场景

该研究的潜在应用领域包括无人机导航、自动驾驶和机器人控制等，能够在复杂环境中实现高效的视觉运动策略学习。其实际价值在于提升机器人在动态环境中的适应能力和鲁棒性，未来可能推动智能系统在更多实际场景中的应用。

📄 摘要（原文）

Imitation learning (IL) can train computationally-efficient sensorimotor policies from a resource-intensive Model Predictive Controller (MPC), but it often requires many samples, leading to long training times or limited robustness. To address these issues, we combine IL with a variant of robust MPC that accounts for process and sensing uncertainties, and we design a data augmentation (DA) strategy that enables efficient learning of vision-based policies. The proposed DA method, named Tube-NeRF, leverages Neural Radiance Fields (NeRFs) to generate novel synthetic images, and uses properties of the robust MPC (the tube) to select relevant views and to efficiently compute the corresponding actions. We tailor our approach to the task of localization and trajectory tracking on a multirotor, by learning a visuomotor policy that generates control actions using images from the onboard camera as only source of horizontal position. Numerical evaluations show 80-fold increase in demonstration efficiency and a 50% reduction in training time over current IL methods. Additionally, our policies successfully transfer to a real multirotor, achieving low tracking errors despite large disturbances, with an onboard inference time of only 1.5 ms. Video: https://youtu.be/_W5z33ZK1m4