Scaling Tasks, Not Samples: Mastering Humanoid Control through Multi-Task Model-Based Reinforcement Learning

📄 arXiv: 2603.01452v1 📥 PDF

作者: Shaohuai Liu, Weirui Ye, Yilun Du, Le Xie

分类: cs.AI, cs.RO

发布日期: 2026-03-02

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EfficientZero-Multitask以解决人形机器人多任务控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 模型基强化学习 人形机器人 样本效率 动态学习

📋 核心要点

  1. 现有方法主要集中在扩展模型参数和离线数据集，未能有效解决机器人学习中的主动交互问题。
  2. 论文提出通过扩展任务数量而非样本数量来实现有效的在线学习，利用共享世界模型来学习任务无关的表示。
  3. 在HumanoidBench基准测试中，EZ-M算法实现了最先进的性能，样本效率显著高于强基线，且未进行极端参数扩展。

📝 摘要（中文）

开发能够掌握多种技能的通用机器人仍然是具身人工智能中的一个核心挑战。尽管近期的进展强调了模型参数和离线数据集的扩展，但在机器人领域，这种方法受到限制，因为学习需要主动交互。本文提出有效的在线学习应当扩展任务数量，而非每个任务的样本数量。通过共享世界模型，模型基强化学习（MBRL）能够聚合多任务经验，从而学习到稳健的、与任务无关的表示。我们提出了EfficientZero-Multitask（EZ-M），一种高效的多任务MBRL算法，在HumanoidBench基准测试中表现出色，显著提高了样本效率，且未进行极端的参数扩展。这些结果确立了任务扩展作为可扩展机器人学习的重要方向。

🔬 方法详解

问题定义：本文旨在解决通用机器人在多任务学习中的样本效率低下和梯度干扰问题。现有的模型无关方法在面对相似状态下的冲突动作时表现不佳，限制了学习效果。

核心思路：论文的核心思路是通过扩展任务数量来提升在线学习的效率，利用物理动态在不同任务间的共性，构建共享的世界模型，从而聚合多任务经验。

技术框架：整体架构包括任务选择、经验聚合和动态学习三个主要模块。任务选择模块负责选择当前学习的任务，经验聚合模块整合来自不同任务的经验，动态学习模块则利用共享模型进行学习。

关键创新：最重要的技术创新在于提出了任务多样性作为MBRL的正则化器，显著提高了动态学习的效率和样本利用率。这一方法与传统的模型无关方法在处理相似状态时的梯度干扰问题形成鲜明对比。

关键设计：在算法设计中，采用了特定的损失函数来平衡不同任务的学习，同时优化了网络结构以适应多任务学习的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HumanoidBench基准测试中，EZ-M算法实现了最先进的性能，样本效率显著高于强基线，具体提升幅度达到XX%（具体数据待补充），且未进行极端的参数扩展，展示了任务扩展的重要性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶、智能制造等，能够提升机器人在复杂环境中的适应能力和学习效率。未来，该方法可能推动更广泛的通用机器人技术的发展，使其能够在多样化的任务中表现出色。

📄 摘要（原文）

Developing generalist robots capable of mastering diverse skills remains a central challenge in embodied AI. While recent progress emphasizes scaling model parameters and offline datasets, such approaches are limited in robotics, where learning requires active interaction. We argue that effective online learning should scale the \emph{number of tasks}, rather than the number of samples per task. This regime reveals a structural advantage of model-based reinforcement learning (MBRL). Because physical dynamics are invariant across tasks, a shared world model can aggregate multi-task experience to learn robust, task-agnostic representations. In contrast, model-free methods suffer from gradient interference when tasks demand conflicting actions in similar states. Task diversity therefore acts as a regularizer for MBRL, improving dynamics learning and sample efficiency. We instantiate this idea with \textbf{EfficientZero-Multitask (EZ-M)}, a sample-efficient multi-task MBRL algorithm for online learning. Evaluated on \textbf{HumanoidBench}, a challenging whole-body control benchmark, EZ-M achieves state-of-the-art performance with significantly higher sample efficiency than strong baselines, without extreme parameter scaling. These results establish task scaling as a critical axis for scalable robotic learning. The project website is available \href{https://yewr.github.io/ez_m/}{here}.