Demonstration-Guided Humanoid Stand-Up on an Emulated Deformable Surface
作者: Aniruddh Kushwah, Vyankatesh Ashtekar, Ashish Dutta
分类: cs.RO
发布日期: 2026-08-21
💡 一句话要点
提出基于示范指导的强化学习框架以解决类人机器人在软地面上起立问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)
关键词: 类人机器人 强化学习 运动控制 软地面适应 人类示范
📋 核心要点
- 现有方法在类人机器人起立时对软地面适应性不足，导致运动控制不稳定。
- 本文提出了一种基于人类示范的强化学习框架，能够在软地面上生成稳定的起立动作。
- 实验结果表明，该方法在硬地和软地面上均能成功实现起立，最大接触渗透为40毫米。
📝 摘要（中文）
本文提出了一种参考指导的强化学习框架，用于在变形软地面上生成29自由度Unitree G1类人机器人的起立动作，基于在硬地面上记录的人类示范。通过MuJoCo的刚体软接触模型中的solref和solimp参数来建模地面顺应性。奖励机制包括（i）通过残差关节位置控制进行的参考运动跟踪，以及（ii）诸如骨盆高度、躯干直立性和最终姿势等显式恢复目标。首先，在考虑硬地面的情况下训练策略。然后，通过更新solref降低地面刚度，并使用solimp扩展名义表面渗透区。后续训练使策略能够适应在接触密集阶段由于显著表面渗透而导致的支持力生成延迟，同时保持原始示范模式。学习到的策略成功完成了从倒地到站立的任务，达到目标骨盆高度和直立性，过程中的最大接触渗透约为40毫米。该方法在两个起立序列上进行了验证，并在硬地和软地面上成功实现了最终恢复目标。消融研究表明，仅靠参考跟踪不足以成功起立，显式恢复奖励是必不可少的。
🔬 方法详解
问题定义：本文旨在解决类人机器人在变形软地面上起立时的运动控制问题。现有方法在软地面上缺乏有效的适应性，导致机器人无法稳定起立。
核心思路：论文提出的解决思路是利用人类示范数据，通过强化学习框架训练机器人在软地面上进行起立，确保机器人能够适应地面顺应性变化。
技术框架：整体架构包括两个主要阶段：首先在硬地面上训练策略，接着通过调整地面刚度参数（solref和solimp）进行软地面适应性训练。主要模块包括奖励机制设计和策略更新。
关键创新：最重要的技术创新在于引入了显式恢复奖励机制，强调了在起立过程中骨盆高度和躯干直立性的重要性，这与现有方法的单一参考跟踪机制形成了鲜明对比。
关键设计：关键参数包括solref和solimp的设置，奖励函数设计中结合了残差关节位置控制和显式恢复目标，以确保机器人在软地面上能够有效起立。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学习到的策略在硬地和软地面上均成功完成起立任务，达到目标骨盆高度和直立性，最大接触渗透为40毫米。消融研究表明，仅依靠参考跟踪不足以实现成功起立，显式恢复奖励至关重要。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人以及人机协作等场景，能够提升机器人在复杂环境中的适应能力和稳定性，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper presents a reference-guided reinforcement learning framework to generate stand-up motion for a 29-DOF Unitree G1 humanoid on deformable soft ground, using a human demonstration recorded on hard ground. The terrain compliance is modelled using solref and solimp parameters from MuJoCo's rigid body soft-contact model. The rewards consists of (i) reference motion tracking through residual joint-position control and (ii) explicit recovery objectives such as pelvis height, torso uprightness, and the final posture. First, the policy is trained with the specified rewards considering hard ground. Next, the terrain stiffness is lowered by updating solref and the nominal surface penetration zone is expanded using solimp. Subsequent training enables the policy to adapt to the delayed support force generation due to significant surface penetration during contact-intensive phases while preserving the original demonstration pattern. The learned policy successfully completes the fallen-to-standing task in simulation, reaching the targeted pelvis height and uprightness, with a maximum contact penetration of approximately 40 mm during the process. The proposed method is demonstrated on two stand-up sequences and successfully achieves the final recovery objective on both hard and soft ground. Ablation studies show that reference tracking alone is insufficient for successful stand-up, and that explicit recovery rewards are essential.