Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
作者: Jiaxu Xing, Angel Romero, Leonard Bauersfeld, Davide Scaramuzza
分类: cs.RO, cs.CV, cs.LG
发布日期: 2024-03-18 (更新: 2024-11-12)
备注: 8th Annual Conference on Robot Learning (CoRL)
💡 一句话要点
提出结合强化学习与模仿学习的框架以解决视觉驱动的四旋翼飞行问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 模仿学习 四旋翼飞行 视觉导航 自主控制 策略蒸馏 无人机竞速
📋 核心要点
- 现有方法在高维视觉输入下，强化学习面临样本效率低和计算需求高的挑战。
- 本文提出的框架结合了强化学习和模仿学习的优点，通过三个阶段实现高效的策略学习。
- 实验结果显示，该方法在多种场景中表现优异，超越了现有模仿学习方法的鲁棒性和性能。
📝 摘要（中文）
学习用于灵活四旋翼飞行的视觉运动策略面临显著挑战，主要源于高维视觉输入导致的低效策略探索以及对精确、低延迟控制的需求。为此，本文提出了一种新颖的方法，将强化学习（RL）的性能与模仿学习（IL）的样本效率结合在视觉驱动的自主无人机竞速任务中。该框架包括三个阶段：使用RL训练教师策略、通过IL蒸馏为学生策略、以及通过RL进行自适应微调。实验结果表明，该方法在RL从零开始失败的场景中也能有效学习，并在鲁棒性和性能上超越现有IL方法，成功通过视觉信息导航四旋翼穿越赛道。
🔬 方法详解
问题定义：本文旨在解决视觉驱动的四旋翼飞行中，强化学习因高维输入导致的低效探索和计算负担的问题。现有方法在复杂环境中难以有效学习，尤其是在样本效率方面存在不足。
核心思路：论文的核心思路是将强化学习与模仿学习相结合，利用模仿学习的样本效率和强化学习的高性能控制能力，形成一个三阶段的学习框架，以克服各自的局限性。
技术框架：整体架构分为三个主要阶段：首先，使用强化学习训练一个教师策略，该策略利用特权状态信息；其次，通过模仿学习将教师策略蒸馏为学生策略；最后，利用强化学习对学生策略进行自适应微调。
关键创新：最重要的技术创新在于将强化学习与模仿学习有效结合，形成一个新的策略学习框架，能够在复杂环境中实现高效学习和控制，显著提升了学习的鲁棒性和性能。
关键设计：在设计中，教师策略的训练使用了特权状态信息，蒸馏过程采用了适当的损失函数以保持性能，同时在微调阶段引入了自适应调整机制，以优化策略的表现。具体的网络结构和参数设置在实验中进行了详细的调优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在多种模拟和真实场景中均表现优异，成功导航四旋翼穿越赛道，超越了现有模仿学习方法，提升幅度显著，尤其在鲁棒性和性能方面均有明显改善。
🎯 应用场景
该研究的潜在应用领域包括无人机竞速、自动驾驶、搜索与救援等场景，能够在复杂环境中实现高效的自主导航。其实际价值在于提升无人机在动态和不确定环境中的操作能力，未来可能对无人机技术的发展产生深远影响。
📄 摘要（原文）
Learning visuomotor policies for agile quadrotor flight presents significant difficulties, primarily from inefficient policy exploration caused by high-dimensional visual inputs and the need for precise and low-latency control. To address these challenges, we propose a novel approach that combines the performance of Reinforcement Learning (RL) and the sample efficiency of Imitation Learning (IL) in the task of vision-based autonomous drone racing. While RL provides a framework for learning high-performance controllers through trial and error, it faces challenges with sample efficiency and computational demands due to the high dimensionality of visual inputs. Conversely, IL efficiently learns from visual expert demonstrations, but it remains limited by the expert's performance and state distribution. To overcome these limitations, our policy learning framework integrates the strengths of both approaches. Our framework contains three phases: training a teacher policy using RL with privileged state information, distilling it into a student policy via IL, and adaptive fine-tuning via RL. Testing in both simulated and real-world scenarios shows our approach can not only learn in scenarios where RL from scratch fails but also outperforms existing IL methods in both robustness and performance, successfully navigating a quadrotor through a race course using only visual information. Videos of the experiments are available at https://rpg.ifi.uzh.ch/bootstrap-rl-with-il/index.html.