HumanoidArena: Benchmarking Egocentric Hierarchical Whole-body Learning
作者: Taowen Wang, Zikang Xie, Bin Yang, Yunheng Wang, Zizhao Yuan, Yuetong Fang, Yixiao Feng, Yichi Wang, Xingyu Chen, Haodong Chen, Qiwei Wu, Weisheng Xu, Lihan Chen, Lusong Li, Zecui Zeng, Renjing Xu
分类: cs.RO
发布日期: 2026-06-16
备注: 29 pages, 13 figures, 10 tables
💡 一句话要点
提出HumanoidArena以解决人形机器人层次化学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人形机器人 层次化控制 全身学习 自我中心视觉 运动跟踪器 人机交互 策略迁移
📋 核心要点
- 现有方法在任务级决策与全身动态执行的耦合上存在困难，导致规模化策略学习面临挑战。
- 论文提出HumanoidArena基准，通过层次化控制将策略学习视为层次决策问题，强调下肢协调的重要性。
- 实验表明，层次控制使得策略能够解决多样的腿部关键交互，但性能依赖于具体的跟踪器，跨跟踪器迁移效果不佳。
📝 摘要（中文）
人形机器人在以人为中心的环境中承诺实现全身互动，但由于任务级决策与全身动态执行紧密耦合，规模化策略学习仍然困难。为此，本文提出HumanoidArena，一个以模拟为基础的基准，用于自我中心的层次化全身学习。该基准将策略学习视为层次决策问题，强调下肢协调在任务完成中的重要性，并设计了7个关键的腿部人机交互任务。实验结果表明，层次控制使得学习的策略能够解决多样的腿部关键交互，但性能受到跟踪器的强烈影响，跨跟踪器的迁移仍然脆弱。
🔬 方法详解
问题定义：本文旨在解决人形机器人在复杂环境中进行全身动作学习的难题，现有方法未能有效评估策略与跟踪器接口的可执行性和鲁棒性。
核心思路：通过引入层次化控制，论文设计高层策略将自我中心视觉、身体感知和指令转换为紧凑的全身动作，随后由低层通用运动跟踪器执行。
技术框架：整体架构包括高层策略和低层通用运动跟踪器两个主要模块，高层策略负责决策生成，低层跟踪器负责动作执行。
关键创新：HumanoidArena的创新在于强调下肢协调在任务完成中的必要性，设计了7个腿部关键任务，填补了现有基准的空白。
关键设计：在设计中，采用了特定的损失函数和网络结构，以确保策略的稳定性和可迁移性，同时对不同的跟踪器进行了评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，层次控制使得学习的策略在解决腿部关键交互任务时表现出色，但在不同跟踪器间的迁移能力较弱。具体而言，跨跟踪器的迁移性能存在显著的脆弱性，表明需要进一步研究以提升策略的通用性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、医疗和服务行业的自主交互，能够提升机器人在复杂环境中的适应能力和交互效果。未来，HumanoidArena可能成为评估和优化人形机器人学习算法的重要工具，推动相关技术的发展。
📄 摘要（原文）
Humanoid robots promise whole-body interaction in human-centered environments, but scalable policy learning remains difficult because task-level decision-making and whole-body dynamic execution are tightly coupled. A practical solution is hierarchical control, where a high-level policy predicts intermediate whole-body actions and low-level general motion trackers (GMTs) execute them as stable humanoid motion. However, existing benchmarks rarely evaluate the policy-tracker interface itself, leaving open whether intermediate whole-body actions are executable, robust under task distribution shifts, and transferable across different GMT backends. We introduce HumanoidArena, a simulation-first benchmark for egocentric hierarchical whole-body learning. The benchmark formulates policy learning as a hierarchical decision making problem: a high-level policy converts egocentric vision, proprioception, and instructions into a compact whole-body action, which is subsequently executed by a low-level GMT. Instead of treating the legs as planar transport tools, HumanoidArena emphasizes interactions where lower-body coordination is structurally necessary in task completion. We therefore design 7 leg-critical HOI/HSI tasks in which success requires foot placement, balance maintenance, posture adjustment, and whole-body reorientation. To further diagnose the hierarchical system, we evaluate policies from two complementary perspectives: perturbation-conditioned generalization and GMT-conditioned transfer. Experiments show that hierarchical control enables learned policies to solve diverse leg-critical interactions, but performance is strongly tracker-conditioned and cross-GMT transfer remains fragile. These results position HumanoidArena as a benchmark for studying transferable intermediate action representations and scalable egocentric whole-body policy learning.