Physics-Aware End-to-End Deep Reinforcement Learning for Quadcopter Control with Actuator Dynamics
作者: Ya-Chia Shen, Woei-Leong Chan
分类: cs.RO, cs.LG, eess.SY
发布日期: 2026-07-28
备注: 8 pages, 5 figures, 2 tables. Presented at the Aeronautical and Astronautical Society of the Republic of China (AASRC) Conference, Tamsui, Taiwan, November 15, 2025, Paper No. 1075. Received an Honorable Mention for the Best Paper Award
💡 一句话要点
提出物理感知的端到端深度强化学习以解决四旋翼控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四旋翼 深度强化学习 自主控制 物理感知 执行器动态 Simulink 稳定性 探索效率
📋 核心要点
- 现有的四旋翼控制方法面临欠驱动动态的挑战，难以有效控制六个自由度。
- 本文提出了一种物理感知的端到端深度强化学习方法，直接作用于低级别控制输入，增强了控制的稳定性。
- 实验结果表明，SAC和TD3算法在稳定性和探索效率上优于其他算法，提供了可重复的基准测试。
📝 摘要（中文）
无人机，特别是四旋翼，因其欠驱动的动态特性在自主控制中面临独特挑战：仅有四个控制输入需控制六个自由度。本文探讨了一种物理感知的端到端深度强化学习方法，直接作用于低级别的机体输入，包括总推力和机体扭矩，并通过高保真Simulink环境闭环控制。我们的模拟器整合了一个12状态的刚体模型，采用基于Moore-Penrose伪逆的Action2RPM分配方法，并考虑了每个电机的一级执行器动态。通过平衡目标达成与稳定性的奖励设计，评估了四种深度强化学习算法，结果显示SAC和TD3在稳定性和探索效率上表现优越。
🔬 方法详解
问题定义：本文旨在解决四旋翼在控制中的欠驱动动态问题，现有方法在控制精度和稳定性上存在不足。
核心思路：提出一种物理感知的端到端深度强化学习方法，直接作用于低级别的推力和扭矩输入，以提高控制的稳定性和响应速度。
技术框架：整体架构包括一个高保真Simulink环境，结合12状态刚体模型和基于Moore-Penrose伪逆的Action2RPM分配，考虑了电机的执行器动态。
关键创新：最重要的创新在于将执行器滞后和气动力矩建模纳入控制框架中，这与传统方法的直接控制输入方式有本质区别。
关键设计：设计了平衡目标达成与稳定性的奖励函数，采用了四种深度强化学习算法（DDPG、TD3、PPO、SAC），并设置了电机的时间常数为0.076秒。实验分为两个阶段，分别为仅推力悬停和带俯仰扭矩的悬停。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SAC和TD3算法在稳定性和探索效率上表现优越，相较于PPO，样本效率显著提升。具体而言，SAC和TD3在两阶段实验中均表现出更好的控制效果，验证了模型的有效性。
🎯 应用场景
该研究的潜在应用领域包括无人机自主飞行、农业监测、物流运输等。通过提高四旋翼的控制精度和稳定性，能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。
📄 摘要（原文）
Unmanned aerial vehicles (UAVs), particularly quadcopters, present unique challenges for autonomous control due to their underactuated dynamics: only four available control inputs must govern six degrees of freedom. This paper investigates a physics-aware, end-to-end deep reinforcement learning (DRL) approach that acts directly on low-level body inputs, total thrust and body torques $(T, τ_x, τ_y, τ_z)$, and closes the loop through a high-fidelity Simulink environment. Our simulator integrates a 12-state rigid-body model (MATLAB Level-2 S-Function) with (i) an Action2RPM allocation based on the Moore-Penrose pseudo-inverse of a coefficient matrix derived from thrust and drag terms, and (ii) first-order actuator dynamics for each motor (time constant $T_m = 0.076$ s), including rotor gyroscopic coupling. A shaped reward balances goal-reaching and stability using an exponential position well, attitude penalties, and quadratic velocity costs. Four DRL algorithms, DDPG, TD3, PPO, and SAC, are evaluated in two stages: (S1) thrust-only hover and (S2) hover with pitch torque and a translated goal. Results show that SAC and TD3 achieve superior stability and exploration efficiency, while PPO is less sample-efficient. The study highlights the significance of modeling actuator lags and aerodynamic moments for stable low-level control and provides a reproducible benchmark for quadcopter DRL.