World-Model-Augmented Visual Locomotion for Humanoids on Foothold-Constrained Terrain

📄 arXiv: 2609.02542v1 📥 PDF

作者: Yuxi Liu, Lijun Han, Ziming Wang, Ao Zhang, Cong Yang, Wei Sui

分类: cs.RO

发布日期: 2026-09-02

备注: 11 pages, 3 figures, 4 tables. Yuxi Liu and Lijun Han contributed equally

💡 一句话要点

提出世界模型增强视觉运动以解决足迹受限地形问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉运动 世界模型 人形机器人 深度学习 强化学习 足迹受限地形 PPO策略

📋 核心要点

  1. 现有方法在足迹受限地形上容易因单次失误而导致失败，缺乏有效的预测能力。
  2. WM-LOCO通过联合训练世界模型和PPO策略，利用深度图像生成预测特征，增强决策能力。
  3. 在模拟和实际环境中，WM-LOCO在复杂地形上表现优异，成功率高达93.3%，显著提升了运动效率。

📝 摘要（中文）

足迹受限地形的特点是可行的脚接触点稀疏、不连续或几何限制，例如在踏脚石、跨越间隙和狭窄楼梯踏板上。在这种地形上，单次失误往往难以恢复，因此仅基于可见地形的脚放置决策容易失败。本文提出了世界模型增强视觉运动（WM-LOCO），通过联合训练递归世界模型和PPO策略，利用本体感知和单个深度图像生成预测特征，指导策略决策。实验表明，WM-LOCO在跨越间隙和踏脚石时成功率显著高于基线，并在楼梯上与基线成功率相当，同时提高了步幅效率，减少了骨盆加速度。该策略在物理Unitree G1人形机器人上部署，平均成功率达到93.3%。

🔬 方法详解

问题定义：论文要解决的问题是如何在足迹受限的地形上进行有效的视觉运动。现有方法往往依赖于可见地形进行决策，导致在复杂环境中容易失败。

核心思路：论文提出的核心思路是通过训练一个递归世界模型来生成对未来观察和奖励的预测，从而为策略提供前瞻性信息。这种设计旨在提高在不确定环境中的决策能力。

技术框架：整体架构包括两个主要模块：递归世界模型和PPO策略。世界模型基于本体感知和深度图像生成预测特征，PPO策略则利用这些特征进行决策。

关键创新：最重要的技术创新在于通过世界模型生成的预测特征来指导策略决策，而不是依赖于显式的脚接触标签。这一方法显著提高了在复杂地形上的适应能力。

关键设计：关键设计包括使用递归神经网络构建世界模型，采用PPO算法进行策略优化，以及在训练过程中结合本体感知和深度图像信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，WM-LOCO在跨越间隙和踏脚石时成功率显著高于基线，且在楼梯上与基线成功率相当。同时，WM-LOCO在步幅效率和骨盆加速度方面表现出色，平均成功率达到93.3%。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和人形机器人等，能够在复杂和不确定的环境中实现高效的运动控制。未来，随着技术的进步，该方法可能在更多实际场景中得到应用，提升机器人在复杂地形上的自主性和适应性。

📄 摘要（原文）

Foothold-constrained terrain is characterized by sparse, discontinuous, or geometrically restricted feasible foot contacts, as encountered on stepping stones, across gaps, and on narrow stair treads. On such terrain, a single misstep often leaves little room to recover, so policies that base foot-placement decisions primarily on the immediately visible terrain are prone to failure. We ask whether a learned predictive summary of near-future observations and rewards can provide the anticipatory information required in such settings. We present World-Model-Augmented Visual Locomotion (WM-LOCO), which jointly trains a recurrent world model and a PPO policy. Conditioned on proprioception and a single onboard depth image, the world model produces a predictive recurrent feature that guides the policy, without explicit foothold labels. In simulation, WM-LOCO succeeds on gaps and stepping stones where a matched baseline fails completely, and matches the baseline's success rate on stairs while improving stride efficiency and reducing pelvis acceleration. We deploy the same policy onboard a physical Unitree G1 humanoid using onboard proprioception and a single depth stream; it traverses all three terrain classes with an average success rate of 93.3%.