SEEC: Stable End-Effector Control with Model-Enhanced Residual Learning for Humanoid Loco-Manipulation

📄 arXiv: 2509.21231v1 📥 PDF

作者: Jaehwi Jang, Zhuoheng Wang, Ziyi Zhou, Feiyang Wu, Ye Zhao

分类: cs.RO

发布日期: 2025-09-25

备注: 9 pages, 5 figures

💡 一句话要点

提出SEEC框架，通过模型增强残差学习实现人型机器人稳定末端执行器控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人型机器人 末端执行器控制 强化学习 残差学习 模型预测控制 移动操作 机器人控制 扰动补偿

📋 核心要点

  1. 人型机器人末端执行器稳定控制面临高自由度和动态不稳定性挑战，现有方法难以兼顾精度和泛化性。
  2. SEEC框架利用模型增强残差学习，通过强化学习学习补偿下半身扰动，实现精确稳定的末端执行器控制。
  3. 实验表明，SEEC在模拟和真实机器人上均优于基线方法，能有效处理多样化的移动操作任务。

📝 摘要（中文）

臂部末端执行器的稳定对于人型机器人的移动操作至关重要，但由于双足机器人结构的高自由度和内在动态不稳定性，这仍然具有挑战性。以往基于模型的控制器能够实现精确的末端执行器控制，但依赖于精确的动力学建模和估计，这通常难以捕捉真实世界的因素（例如，摩擦和反冲），因此在实践中性能会下降。另一方面，基于学习的方法可以通过探索和领域随机化更好地缓解这些因素，并在实际应用中显示出潜力。然而，它们通常过度拟合训练条件，需要对整个身体进行重新训练，并且仍然难以适应未见过的场景。为了解决这些挑战，我们提出了一种新的稳定末端执行器控制（SEEC）框架，该框架通过模型引导的强化学习（RL）与扰动生成器，学习实现对下半身引起的扰动的精确和鲁棒的末端执行器补偿。这种设计允许上半身策略实现精确的末端执行器稳定，并适应未见过的步态控制器，而无需额外的训练。我们在不同的模拟器中验证了我们的框架，并将训练好的策略转移到Booster T1人型机器人上。实验表明，我们的方法始终优于基线，并能稳健地处理各种苛刻的移动操作任务。

🔬 方法详解

问题定义：论文旨在解决人型机器人移动操作中，由于高自由度和动态不稳定性导致的末端执行器难以稳定控制的问题。现有基于模型的方法依赖精确动力学模型，难以适应真实环境中的摩擦、反冲等因素；而纯学习方法泛化性差，需要大量重新训练才能适应新场景。

核心思路：论文的核心思路是结合模型预测和强化学习的优势，利用模型提供先验知识，指导强化学习策略的学习，从而实现更精确、鲁棒和泛化的末端执行器控制。通过学习残差补偿，策略可以专注于修正模型预测的不足，提高适应性。

技术框架：SEEC框架包含以下主要模块：1) 扰动生成器，用于模拟下半身运动产生的扰动；2) 基于模型的控制器，提供末端执行器的基准控制；3) 基于强化学习的残差策略，学习补偿模型预测的误差，实现更精确的末端执行器控制。整体流程是，扰动生成器产生扰动，基于模型的控制器进行初步控制，残差策略在此基础上进行补偿，最终实现稳定的末端执行器控制。

关键创新：SEEC的关键创新在于模型增强的残差学习框架。与纯模型方法相比，SEEC通过学习补偿模型误差，提高了鲁棒性；与纯学习方法相比，SEEC利用模型先验知识，加速了学习过程，并提高了泛化能力。此外，扰动生成器的设计使得策略能够适应不同的下半身运动模式，无需重新训练。

关键设计：SEEC使用强化学习算法（具体算法未知）训练残差策略。损失函数的设计目标是最小化末端执行器的位置和姿态误差。网络结构未知，但可以推测输入包括末端执行器的状态、目标位置和姿态，以及模型预测的控制量，输出为残差控制量。扰动生成器的设计需要仔细考虑扰动的幅度和频率，以覆盖真实场景中可能出现的扰动范围。

📊 实验亮点

实验结果表明，SEEC框架在模拟和真实机器人上均优于基线方法。在模拟环境中，SEEC能够实现更精确的末端执行器控制，并能适应不同的下半身运动模式。在Booster T1人型机器人上的实验表明，SEEC能够有效地补偿真实世界中的摩擦、反冲等因素，实现稳定的末端执行器控制，显著提升了机器人在移动操作任务中的性能（具体提升幅度未知）。

🎯 应用场景

该研究成果可应用于人型机器人执行复杂操作任务，如灾难救援、医疗辅助、家庭服务等。通过提高末端执行器的稳定性和鲁棒性，机器人能够更好地完成抓取、放置、组装等任务，从而在各种实际场景中发挥更大的作用。未来，该技术有望进一步推广到其他类型的机器人，提高机器人的自主性和适应性。

📄 摘要（原文）

Arm end-effector stabilization is essential for humanoid loco-manipulation tasks, yet it remains challenging due to the high degrees of freedom and inherent dynamic instability of bipedal robot structures. Previous model-based controllers achieve precise end-effector control but rely on precise dynamics modeling and estimation, which often struggle to capture real-world factors (e.g., friction and backlash) and thus degrade in practice. On the other hand, learning-based methods can better mitigate these factors via exploration and domain randomization, and have shown potential in real-world use. However, they often overfit to training conditions, requiring retraining with the entire body, and still struggle to adapt to unseen scenarios. To address these challenges, we propose a novel stable end-effector control (SEEC) framework with model-enhanced residual learning that learns to achieve precise and robust end-effector compensation for lower-body induced disturbances through model-guided reinforcement learning (RL) with a perturbation generator. This design allows the upper-body policy to achieve accurate end-effector stabilization as well as adapt to unseen locomotion controllers with no additional training. We validate our framework in different simulators and transfer trained policies to the Booster T1 humanoid robot. Experiments demonstrate that our method consistently outperforms baselines and robustly handles diverse and demanding loco-manipulation tasks.