Online Learning of Heterogeneous Locomotion Dynamics under Reinforcement Learning Policies for Precise Loco-Manipulation
作者: Tianlin Zhang, Weipeng Xia, Lingwei Zhang, Yiyang Shao, Zhongyu Li, Yun-Hui Liu
分类: cs.RO
发布日期: 2026-10-30
备注: 18 pages, 15 figures. Supplementary video: https://youtu.be/H-u8buk86C0
💡 一句话要点
提出在线学习方法以解决异构运动动态下的精确运动操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 运动操控 强化学习 在线学习 高斯过程 机器人技术 动态估计
📋 核心要点
- 现有方法在重用预训练运动策略时，无法有效处理未观察到的潜在条件，导致运动操控精度不足。
- 本文提出了一种污染高斯模型，结合高斯过程和随机傅里叶特征，在线学习闭环动态以提高运动操控的准确性。
- 实验结果显示，在不同的操控器配置和任务中，末端执行器的跟踪误差仅为0.01米，表现出一致性和高精度。
📝 摘要（中文）
如何重用预训练的运动策略以实现精确的运动操控仍然是一个开放问题。本文提出了一种在线方法，在冻结的运动策略下学习闭环动态。所学模型能够预测浮动基座运动并提高运动操控的准确性。然而，策略的未观察潜在条件引入了异构响应，即相同的观察状态会导致不同的运动。直接学习而不考虑这种异构性会引入偏差和波动，降低浮动基座预测和末端执行器跟踪的性能。为了解决这个问题，本文提出了一种污染高斯模型来近似潜在条件的影响，并结合高斯过程构建了一个使用随机傅里叶特征的在线学习器。该学习器估计每个响应属于可预测组件的概率，并利用该概率加权在线更新，从而捕获可预测响应并减少由异构观察引起的偏差和波动。通过一致且无偏的动态估计，模型预测控制能够准确预测浮动基座运动，实现精确的运动操控。
🔬 方法详解
问题定义：本文旨在解决在重用预训练运动策略时，未观察潜在条件导致的异构响应问题。现有方法未能有效处理这种异构性，导致动态估计的偏差和波动，从而影响运动操控的精度。
核心思路：论文提出了一种污染高斯模型来近似潜在条件的影响，通过将响应分为可预测和不可预测两部分，来减少由异构观察引起的偏差。结合高斯过程，使用随机傅里叶特征构建在线学习器，以便在动态更新中加权可预测响应。
技术框架：整体架构包括两个主要模块：污染高斯模型和高斯过程在线学习器。污染高斯模型用于处理异构响应，而高斯过程则用于动态更新和预测。学习器通过随机傅里叶特征实现高效的在线学习。
关键创新：最重要的创新在于提出了污染高斯模型，该模型能够有效捕获和区分可预测与不可预测的响应，从而显著减少动态估计中的偏差和波动。这一方法与传统的直接学习方法形成了鲜明对比。
关键设计：在模型设计中，使用了两个高斯成分来表示可预测和不可预测的响应，并通过概率加权来优化在线更新。此外，采用随机傅里叶特征以提高学习效率和准确性。实验中还建立了有限样本误差界限，以确保在线学习的一致收敛性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在不同的操控器配置和任务中，末端执行器的跟踪误差仅为0.01米，显示出一致性和高精度，显著优于传统方法的性能。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、自动化制造和人机协作等场景。通过提高运动操控的精度，能够在复杂环境中实现更高效的任务执行，未来可能推动智能机器人在实际应用中的广泛部署。
📄 摘要（原文）
How to reuse a pretrained locomotion policy for precise loco-manipulation is still an open problem. We propose an online method to learn the closed-loop dynamics under a frozen locomotion policy. The learned model predicts floating-base motion and improves loco-manipulation accuracy. However, unobserved latent conditions of the policy introduce heterogeneous responses, meaning that the same observed state will lead to different motions. Direct learning without accounting for this heterogeneity introduces bias and fluctuations into dynamics estimates, degrading floating-base prediction and end-effector tracking. To address this problem, a contaminated Gaussian model is proposed to approximate the effects of latent conditions. The model uses two Gaussian components to approximate predictable and unpredictable responses under the same observed state. Then, the contaminated Gaussian model is combined with a Gaussian process to construct an online learner using random Fourier features (RFFs). The learner estimates each response's probability of belonging to the predictable component and uses it to weight online updates, capturing predictable responses while reducing bias and fluctuations caused by heterogeneous observations. With consistent and unbiased dynamics estimates, model predictive control (MPC) predicts floating-base motion accurately and enables precise loco-manipulation. A finite-sample error bound is established to ensure uniform convergence in online learning. Simulation and hardware experiments demonstrate consistent end-effector tracking across different manipulator configurations and tasks, with errors of 0.01 m.