Reinforcement Learning with Inner-loop Dynamics Estimator for Aerial Manipulation under Uncertainty

📄 arXiv: 2606.16621v1 📥 PDF

作者: Shivansh Pratap Singh, Samaksh Ujjwal, Ishita Chaudhary, V R Vasudevan, Rishabh Dev Yadav, Spandan Roy

分类: cs.RO

发布日期: 2026-06-15

💡 一句话要点

提出层次控制框架以解决不确定性下的空中操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 空中操控 强化学习 动态估计 层次控制 不确定性 四旋翼 机器人技术

📋 核心要点

  1. 现有方法在快速臂部运动和动态不确定性下，难以实现有效的整体空中操控。
  2. 提出的层次控制框架结合了强化学习与动态估计器，能够在不依赖准确动态模型的情况下进行任务驱动控制。
  3. 实验结果表明，该方法在不同负载条件下显著降低了跟踪误差，提高了任务成功率，展示了其优越性。

📝 摘要（中文）

空中操控器能够在难以到达的环境中进行物理交互，但在快速臂部运动、负载变化及相关未知动态不确定性下的整体空中操控问题仍然未得到有效解决。本文提出了一种层次控制框架，将强化学习（RL）与内循环动态估计器相结合，以应对这一挑战。RL外循环将期望的六自由度末端执行器目标映射为协调的整体指令，内循环则在执行过程中通过动态估计器方案补偿瞬态惯性变化和不确定性，而无需系统模型知识。通过在定制四旋翼上进行硬件实验，验证了该方法在不同负载条件下的有效性。与RL+PID和RL+INDI+PID基线相比，该方法显著降低了末端执行器跟踪误差，提高了任务成功率。

🔬 方法详解

问题定义：本文旨在解决在快速臂部运动和动态不确定性下的整体空中操控问题。现有方法往往依赖于准确的动态模型，难以应对负载变化和瞬态惯性影响。

核心思路：论文提出的层次控制框架通过将强化学习与内循环动态估计器结合，能够在不依赖于系统模型的情况下，实现高效的任务驱动控制。外循环负责生成整体指令，内循环则实时补偿动态不确定性。

技术框架：整体架构分为外循环和内循环两个主要模块。外循环使用强化学习将目标映射为指令，内循环则通过动态估计器跟踪这些指令并进行补偿。

关键创新：最重要的创新在于结合了学习的整体协调与基于估计的低级补偿，显著提高了在变化操作条件下的精度和鲁棒性。这与传统依赖于准确模型的方法形成了鲜明对比。

关键设计：在设计中，动态估计器无需系统模型知识，通过实时数据反馈进行调整。损失函数和网络结构的具体细节未在摘要中详述，需参考论文原文以获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在不同负载条件下，末端执行器跟踪误差显著降低，任务成功率明显提高，相较于基线方法（RL+PID和RL+INDI+PID）表现出更好的精度和鲁棒性，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机配送、灾后救援、农业监测等场景，能够在复杂和动态的环境中实现高效的物理交互。未来，该方法有望推动空中操控技术的进一步发展，提高无人机在不确定环境下的操作能力。

📄 摘要（原文）

Aerial manipulators enable physical interaction in hard-to-reach environments; however, the combined problem of direct whole-body aerial manipulation under rapid arm motion, payload changes, and related unknown dynamic uncertainty remains a largely unsolved problem. We present a hierarchical control framework that combines Reinforcement Learning (RL) with an inner-loop dynamics estimator to address this problem. The RL outer loop maps desired 6-degrees-of-freedom (DOF) end-effector targets to coordinated whole-body commands, enabling direct task-driven control without relying on a fully accurate coupled dynamic model in the policy layer. An inner loop then tracks these commands while compensating for transient inertial shifts and uncertainty during execution via a dynamics estimator scheme without requiring system model knowledge. We validate the proposed approach on a custom quadrotor equipped with a 3-DoF manipulator through hardware experiments under varying payload conditions. Compared with RL+PID and RL+INDI+PID baselines, the proposed method reduces end-effector tracking error and improves task success rate across the tested hardware conditions. These results show that combining learned whole-body coordination with estimator-based low-level compensation improves the precision and robustness of aerial manipulation under changing operating conditions.