Is It the Curriculum or Just the Easy Start? Benchmarking Unsupervised Environment Design on Quadrupeds

📄 arXiv: 2610.40364v1 📥 PDF

作者: Jakub Gilewicz, Dominik Galus, Piotr Wojdas

分类: cs.LG, cs.RO

发布日期: 2026-10-29

备注: 22 pages, 10 figures. Code, level space and evaluation suite: https://github.com/Solvro/ml-wojtek-ued

💡 一句话要点

提出统一基准以评估无监督环境设计在四足机器人中的应用

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督环境设计 四足机器人 领域随机化 MuJoCo 机器人训练 性能评估 课程选择

📋 核心要点

  1. 现有的无监督环境设计方法在评估时多集中于简单的2D环境，缺乏对复杂3D四足机器人环境的系统比较。
  2. 本文提出了一个统一的基准，能够在多个四足机器人上评估不同的无监督环境设计和领域随机化方法。
  3. 实验结果表明，某些方法在特定机器人和地形集上表现优异，但没有任何方法在所有情况下均为最佳，提供了选择课程的实用指南。

📝 摘要（中文）

无监督环境设计（UED）方法如PLR、ACCEL、SFL和PAIRED主要在2D迷宫、网格世界和BipedalWalker上进行比较，而四足机器人所用的地形课程则是手动设计的。本文提出了一个基准，统一评估14种UED、领域随机化和机器人课程在五种3D四足机器人（如W01-TEK、Unitree Go1和Go2等）上的表现。通过对相同环境步数预算下的PPO学生进行评估，结果显示不同方法在随机和保留的结构化地形上表现不一，且没有任何方法在所有机器人和地形集上均处于最佳组。研究为选择合适的课程提供了指导。

🔬 方法详解

问题定义：本文旨在解决现有无监督环境设计方法在四足机器人上的评估不足，尤其是在复杂3D环境中的应用效果。现有方法多集中于简单的2D环境，缺乏系统的比较和评估。

核心思路：通过提出一个统一的基准，本文能够在相同的实验条件下对多种UED和领域随机化方法进行评估，确保结果的可比性和可靠性。

技术框架：研究在MuJoCo MJX环境中，针对五种四足机器人（如W01-TEK、Unitree Go1和Go2等）运行14种不同的UED和领域随机化方法，所有方法在相同的环境步数预算下进行评估。

关键创新：最重要的创新在于提出了一个系统的评估框架，使得不同的无监督环境设计方法能够在相同条件下进行比较，填补了现有研究的空白。

关键设计：实验中使用了八个可解释的地形参数来定义关卡，并通过分层自助法计算成功率的置信区间，确保评估结果的统计显著性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在Go1和Barkour的随机地形中，某些方法在低难度训练水平上表现优异，然而在不同机器人和地形集上没有任何方法始终处于最佳组，提供了对课程选择的深入见解。

🎯 应用场景

该研究的潜在应用领域包括机器人训练、自动化控制和智能系统设计等。通过优化四足机器人的环境设计，能够提升其在复杂地形中的适应能力和自主决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Unsupervised environment design (UED) methods such as PLR, ACCEL, SFL and PAIRED are compared mostly on 2D mazes, grid worlds and BipedalWalker, while terrain curricula for legged robots are hand-designed and evaluated against a few baselines. We present a benchmark that runs fourteen UED, domain-randomisation and robotics curricula under one protocol on five 3D quadrupeds in MuJoCo MJX: the closed-chain W01-TEK and the open-chain Unitree Go1 and Go2, Google Barkour vB and Boston Dynamics Spot. Levels are vectors of eight interpretable terrain parameters, and all curricula drive the same PPO student at matched environment-step budgets. The evaluation reports success on random and held-out structured terrains, interquartile means with stratified bootstrap intervals, capability envelopes and a level-by-level domination comparison. We compare methods within each robot and report, per level set, the top group of methods not significantly below the best. No method is in the top group on every robot and level set. Methods with easy or low-difficulty training levels, curated or not, fill the top groups on in-distribution random levels of Go1 and Barkour, and of W01-TEK apart from PAIRED+BiBC. The success-driven terrain curriculum from legged-robot practice is in a top group most often, domain randomisation on uniform levels in none, and PAIRED in none outside Spot, where the fourteen methods lie within 3.8 points on random levels of difficulty 0.25. On three robots the leader on in-distribution random levels is not the leader on held-out terrain. We collect the results into a per-robot guide to choosing a curriculum.