AirPilot: Interpretable PPO-based DRL Auto-Tuned Nonlinear PID Drone Controller for Robust Autonomous Flights

📄 arXiv: 2404.00204v5 📥 PDF

作者: Junyang Zhang, Cristian Emanuel Ocampo Rivera, Kyle Tyni, Steven Nguyen

分类: cs.RO, cs.LG, eess.SY

发布日期: 2024-03-30 (更新: 2025-01-21)

备注: 9 pages, 20 figures

💡 一句话要点

提出AirPilot以解决无人机控制非线性适应性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无人机控制 深度强化学习 PID控制 自适应控制 近端策略优化 动态环境 飞行性能 导航精度

📋 核心要点

  1. 现有的PID控制器在应对动态环境和复杂任务时，无法有效捕捉非线性特性，导致控制性能不足。
  2. AirPilot结合了传统PID控制的优点与深度强化学习的自适应能力，能够根据不同任务动态调整控制策略。
  3. 实验结果显示，AirPilot在导航误差、有效导航速度及超调等方面均有显著提升，表现出更优的控制性能。

📝 摘要（中文）

导航精度、速度和稳定性对于无人机在动态环境中的安全飞行和有效任务执行至关重要。不同的飞行任务可能有不同的目标，如最小化能耗、实现精确定位或最大化速度。传统的比例-积分-微分（PID）控制器在应对动态风条件和复杂无人机系统的非线性特性时存在局限，手动调节PID增益既耗时又需要专业知识。本文提出了AirPilot，一个基于深度强化学习（DRL）的非线性PID无人机控制器，利用近端策略优化（PPO）算法，结合了传统PID控制的简单性与DRL的适应性和优化能力。AirPilot在实际实验中显著提高了无人机的导航性能，标志着DRL飞行控制器在实际无人机上的首次应用。

🔬 方法详解

问题定义：本文旨在解决传统PID控制器在动态环境下的非线性适应性不足问题，现有方法在面对复杂风条件时表现不佳，且手动调节PID增益耗时且需要专业知识。

核心思路：论文提出的AirPilot控制器通过结合深度强化学习（DRL）与传统PID控制，利用DRL的学习能力和优化潜力，使控制器能够根据不同飞行任务动态调整控制策略，从而提高无人机的飞行性能。

技术框架：AirPilot的整体架构包括训练阶段和实施阶段。在训练阶段，使用COEX Clover无人机在模拟环境中训练DRL代理；在实施阶段，将训练好的控制策略应用于实际无人机中，进行飞行控制。

关键创新：AirPilot的主要创新在于将DRL与PID控制相结合，形成了一种新的控制策略，使得无人机能够在复杂和动态的环境中自适应调整控制参数，显著提升了控制精度和响应速度。

关键设计：在设计中，采用了近端策略优化（PPO）算法进行训练，设置了适应性损失函数以优化控制性能，并设计了适合无人机特性的网络结构，以确保在实际应用中的有效性和稳定性。

📊 实验亮点

实验结果表明，AirPilot能够将默认PX4 PID位置控制器的导航误差降低90%，有效导航速度提高21%，并分别减少超调和稳定时间16%和17%。这些显著的性能提升展示了DRL在无人机控制中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括无人机自主飞行、物流运输、农业监测等。AirPilot的自适应控制能力使其能够在多变的环境中执行复杂任务，提升无人机的操作效率和安全性，未来可广泛应用于智能交通和无人机编队等领域。

📄 摘要（原文）

Navigation precision, speed and stability are crucial for safe Unmanned Aerial Vehicle (UAV) flight maneuvers and effective flight mission executions in dynamic environments. Different flight missions may have varying objectives, such as minimizing energy consumption, achieving precise positioning, or maximizing speed. A controller that can adapt to different objectives on the fly is highly valuable. Proportional Integral Derivative (PID) controllers are one of the most popular and widely used control algorithms for drones and other control systems, but their linear control algorithm fails to capture the nonlinear nature of the dynamic wind conditions and complex drone system. Manually tuning the PID gains for various missions can be time-consuming and requires significant expertise. This paper aims to revolutionize drone flight control by presenting the AirPilot, a nonlinear Deep Reinforcement Learning (DRL) - enhanced Proportional Integral Derivative (PID) drone controller using Proximal Policy Optimization (PPO). AirPilot controller combines the simplicity and effectiveness of traditional PID control with the adaptability, learning capability, and optimization potential of DRL. This makes it better suited for modern drone applications where the environment is dynamic, and mission-specific performance demands are high. We employed a COEX Clover autonomous drone for training the DRL agent within the simulator and implemented it in a real-world lab setting, which marks a significant milestone as one of the first attempts to apply a DRL-based flight controller on an actual drone. Airpilot is capable of reducing the navigation error of the default PX4 PID position controller by 90%, improving effective navigation speed of a fine-tuned PID controller by 21%, reducing settling time and overshoot by 17% and 16% respectively.