Wind-Aware Reinforcement Learning Control of a Small Quadrotor Using Learned Onboard Wind Estimation in Simulated Atmospheric Turbulence
作者: Abdullah Al Tasim, Wei Sun
分类: cs.LG, eess.SY
发布日期: 2026-07-05
💡 一句话要点
提出基于风感知的强化学习控制方法以应对小型四旋翼在气流中的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 风感知 强化学习 四旋翼 轨迹跟踪 气流湍流 无人机控制 动态环境
📋 核心要点
- 现有方法在气流湍流环境中难以有效跟踪飞行轨迹，传统控制策略在风速变化时表现不佳。
- 论文提出通过机载传感器估计局部风速，并将其应用于强化学习飞行控制器，以提高飞行稳定性和轨迹跟踪精度。
- 实验结果显示，基于风感知的控制器在多种风速条件下显著提升了轨迹跟踪性能，尤其在强风条件下表现优异。
📝 摘要（中文）
小型多旋翼飞行器在大气边界层中执行任务时，遭遇的湍流风会影响其轨迹跟踪，传统反馈控制方法难以应对。本文提出了一种两阶段学习管道，首先通过机载运动学和动力学估计局部风速，然后在强化学习飞行控制器中利用该估计。风速估计器采用增强注意力的门控递归网络，在数千次模拟飞行中训练，能够在未见风场中以每次飞行均方根误差0.40 m/s和方向误差3.2度的精度恢复水平风速。基于此估计的近端策略优化控制器在4 m/s至12 m/s的平均风速下，相较于无风信息的基线，减少了48%的水平轨迹跟踪误差，表现出100%的评估成功率。
🔬 方法详解
问题定义：本文旨在解决小型四旋翼在气流湍流中轨迹跟踪精度不足的问题。现有的反馈控制方法在面对复杂风场时，往往无法有效应对，导致飞行性能下降。
核心思路：论文的核心思路是通过机载传感器实时估计局部风速，并将该信息融入强化学习控制器中，以增强飞行器在复杂气流中的适应能力。这样的设计能够使控制器在动态环境中更为灵活和准确。
技术框架：整体架构分为两个主要模块：第一阶段是风速估计器，采用增强注意力的门控递归网络进行训练；第二阶段是基于估计结果的近端策略优化控制器，负责实际的飞行控制。
关键创新：最重要的技术创新在于结合了风速估计与强化学习控制，形成了一种新的控制策略，使得飞行器能够在复杂的风场中保持稳定的飞行状态。这与传统的控制方法有本质区别，后者通常依赖于固定的模型和参数。
关键设计：在风速估计器中，采用了数千次模拟飞行数据进行训练，损失函数设计为最小化风速的均方根误差。网络结构中引入了增强注意力机制，以提高对动态风场的感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于风感知的控制器在4 m/s至12 m/s的风速范围内，相较于传统无风信息的基线，减少了48%的水平轨迹跟踪误差，并在100%的评估场景中成功完成任务。即使在13 m/s至15 m/s的超出分布风速下，控制器也表现出良好的降级能力。
🎯 应用场景
该研究的潜在应用领域包括无人机在城市环境、灾后救援、农业监测等复杂气流条件下的飞行任务。通过提高飞行器在风场中的适应能力，能够显著提升其在实际应用中的可靠性和效率，未来可能推动无人机技术的广泛应用。
📄 摘要（原文）
Small multirotor aircraft are increasingly tasked with operations in the atmospheric boundary layer, where turbulent winds comparable to the vehicle's airspeed degrade trajectory tracking and can defeat conventional feedback control. This work illustrates a two-stage learning pipeline that first estimates the local wind from onboard kinematics and dynamics and then exploits that estimate inside a reinforcement learning (RL) flight controller. The wind estimator, an attention-augmented gated recurrent network trained on thousands of simulated flights through von Karman turbulence with power-law shear and veer, recovers the horizontal wind vector with a per-flight root-mean-square error of 0.40 m/s and a direction error of 3.2 degrees on unseen wind regimes, an accuracy near the floor imposed by unresolved turbulence, and generalizes to vertical ascent profiles with a skill score of 0.861 over a constant-wind reference. A proximal policy optimization controller receiving the frozen estimator's output reduces horizontal trajectory tracking error by 48% relative to a wind-blind proportional-derivative baseline across mean winds of 4 m/s to 12 m/s, winning on 100% of evaluation episodes. A three-way ablation decomposes this improvement into a kinematic component, available without wind information, and a wind-perception component; the perception share rises with wind speed, from small in light winds toward roughly half the total benefit in strong winds, consistent with the quadratic scaling of aerodynamic drag. The controller degrades gracefully on out-of-distribution winds of 13 m/s to 15 m/s, where the baseline fails catastrophically.