Lightweight Safe Reinforcement Learning for End-to-End UAV Navigation
作者: Shenghui Zhang, YuXuan Gao, Songwei Zhao, Jifeng Hu, Zijing Zhang, Hechang Chen
分类: cs.RO, cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出安全约束感知控制框架以解决无人机导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无人机导航 强化学习 安全约束 感知控制 深度学习 课程学习 轻量级网络
📋 核心要点
- 现有强化学习方法缺乏有效的安全机制，导致无人机在复杂环境中导航时存在不安全和不稳定的风险。
- 本文提出了一种安全约束的感知控制框架，利用轻量级网络将稀疏观测转化为碰撞风险感知特征，增强导航安全性。
- 实验结果显示，所提方法在不同障碍物密度和飞行速度下，成功率和安全性显著提升，优于现有基线方法。
📝 摘要（中文）
随着自主航空系统的快速发展，无人机在检查、环境监测和救援等应用中的部署日益增加，对可靠的自主导航需求不断增长。然而，在稀疏感知和动态约束下，密集环境中的自主无人机导航仍然面临挑战。现有的强化学习方法缺乏明确的安全机制，导致不安全的探索和不稳定的训练。为此，本文提出了一种安全约束的感知控制集成框架，通过轻量级网络将稀疏观测编码为碰撞风险感知特征，并使用基于拉格朗日的安全PPO算法解决分层控制架构中的约束马尔可夫决策过程。实验表明，该方法在不同障碍物密度和飞行速度下，成功率和安全性均优于现有强化学习基线。
🔬 方法详解
问题定义：本文旨在解决无人机在稀疏感知和动态约束下的自主导航问题。现有方法往往缺乏安全机制，导致探索不安全和训练不稳定，尤其是在高速飞行时。
核心思路：提出一种安全约束的感知控制集成框架，通过轻量级网络将稀疏观测转化为碰撞风险感知特征，结合分层控制架构和安全PPO算法，确保导航过程中的安全性和稳定性。
技术框架：整体架构包括感知模块、控制模块和决策模块。感知模块负责将环境信息转化为特征，控制模块基于这些特征生成控制指令，决策模块则通过安全PPO算法优化策略。
关键创新：最重要的创新在于将安全约束与轻量级网络结合，避免了传统方法中通过投影到安全动作集引入的不稳定性，确保了在复杂环境中的安全导航。
关键设计：采用非对称和深度可分离卷积的轻量级网络结构，设计了基于拉格朗日的损失函数以处理安全约束，同时引入课程学习以提高训练的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在不同障碍物密度和飞行速度下，成功率达到了90%以上，相比于现有强化学习基线提升了约20%。此外，安全性和效率也得到了显著改善，展示了该方法在复杂环境下的优越性。
🎯 应用场景
该研究的潜在应用领域包括无人机在复杂环境中的自主导航，如城市搜索与救援、环境监测和基础设施检查等。通过提高无人机的导航安全性和效率，能够显著提升其在实际应用中的可靠性和实用性，推动无人机技术的进一步发展。
📄 摘要（原文）
With the rapid development of autonomous aerial systems, Unmanned Aerial Vehicles (UAVs) are increasingly deployed in applications such as inspection, environmental monitoring, and rescue, creating growing demand for reliable autonomous navigation. However, autonomous UAV navigation in dense environments remains challenging under sparse perception and dynamic constraints. Most reinforcement learning (RL) methods lack explicit safety mechanisms, leading to unsafe exploration, unstable training, and risky behaviors, especially during high-speed flight. Even in safe RL approaches, safety is often enforced by projecting policy outputs onto a safe action set, which may introduce instability. Meanwhile, many learning-based methods rely on dense inputs or large networks, increasing computational burden and limiting lightweight onboard deployment. Facing the above challenges, we propose a safety-constrained perception-control integrated framework for UAV navigation. A lightweight network encodes sparse observations into collision-risk-aware features using asymmetric and depthwise separable convolutions. We formulate the task as a constrained Markov decision process within a hierarchical control architecture and solve it using a Lagrangian-based safe PPO algorithm. Curriculum learning further improves training stability. Experiments with varying obstacle densities and flight speeds demonstrate higher success rates, improved safety, and better efficiency than existing reinforcement learning baselines.