Continual Robot Policy Learning via Variational Neural Dynamics
作者: Jiaxu Xing, Zhiyuan Zhu, Yunfan Ren, Ismail Geles, Yifan Zhai, Rudolf Reiter, Davide Scaramuzza
分类: cs.RO
发布日期: 2026-06-25
💡 一句话要点
提出持续机器人策略学习框架以应对动态变化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 持续学习 动态模型 机器人控制 神经网络 四旋翼 轨迹跟踪 适应性 物理先验
📋 核心要点
- 现有学习控制器通常在训练后不再更新，无法利用实际经验提升性能，导致机器人在动态环境中的适应性不足。
- 本文提出的框架结合分析物理先验与神经网络残差，学习条件感知的动态模型，从而实现持续的策略改进。
- 实验结果显示，该框架在真实四旋翼的轨迹跟踪任务中，能够在约1秒内恢复动态，性能提升显著，减少了大干扰下的误差。
📝 摘要（中文）
在现实世界中，机器人往往在多变的动态环境中操作，现有的学习控制器通常在训练后不再更新，导致无法利用实际部署经验提升任务性能。本文提出一种持续学习框架，通过结合分析物理先验与神经残差模型，从真实状态-动作轨迹中学习条件感知的动态模型。该方法使用递归编码器推断当前隐藏条件，并在策略学习中应用可微分仿真，允许机器人在部署时实时调整策略以应对未观察到的干扰。实验表明，该框架在多种干扰下显著提升了策略性能。
🔬 方法详解
问题定义：本文旨在解决机器人在动态环境中策略学习的不足，现有方法无法有效利用部署经验进行持续改进，导致适应性差。
核心思路：提出一种结合分析物理先验与神经残差的条件感知动态模型，通过实时推断隐藏条件来调整策略，从而实现持续学习。
技术框架：整体架构包括状态-动作轨迹的收集、条件感知动态模型的学习、递归编码器的推断、以及基于可微分仿真的策略学习。主要模块包括动态模型、策略网络和条件推断模块。
关键创新：最重要的创新在于通过条件感知动态模型实现了对隐藏动态的实时适应，区别于传统方法的静态模型更新。
关键设计：在模型设计中，使用了递归神经网络进行条件推断，损失函数结合了动态模型的残差与策略优化，确保了模型的高效性与准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在真实四旋翼的轨迹跟踪任务中，该框架能够在约1秒内恢复动态，速度是在线残差重拟合的5倍。同时，相较于现有的在线适应方法，该框架在大干扰下的悬停和跟踪误差分别减少了65.7%和53.3%。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在无人机、自动驾驶汽车和服务机器人等领域。通过提升机器人在动态环境中的适应能力，能够显著提高其在复杂任务中的表现，推动智能机器人技术的实际应用和发展。
📄 摘要（原文）
Robots deployed in the real world rarely operate under a single fixed dynamics model: wind changes, payloads vary, batteries drain, contacts shift, and hardware wears. Yet most learning-based controllers are trained once and deployed as if learning were complete. This prevents the robot from using deployment experience to further improve task performance. In this work, we propose a continual learning framework that uses real-world experience to improve robot policies under hidden and recurring dynamics. Our method learns a condition-aware dynamics model from real state-action trajectories by combining an analytical physics prior with a neural residual for unmodeled effects. A recurrent encoder infers the current hidden condition from recent interaction, and this estimate conditions both the residual model and the policy. Policy learning is performed via differentiable simulation using diverse learned dynamics sampled from the latent model. At deployment, these sampled conditions are replaced by conditions inferred online from recent real interaction, allowing the policy to recover recurring dynamics by recognition rather than residual re-fitting. Through extensive simulation studies and real-world experiments, we demonstrate that the framework improves policy performance under diverse unobserved disturbances. On real quadrotor trajectory tracking under changing wind, the policy recovers from recurring disturbances in roughly 1s, about 5x faster than online residual re-fitting. It also reduces large-disturbance hover and tracking errors by 65.7% and 53.3% over the state-of-the-art online adaptation approaches