Zero-HLM: Generalizable Humanoid Loco-Manipulation without Real Robot Data
作者: Dianyi Yang, Mengya Liu, Zhumei Wang, Yu Liu, Xiaochen Zhang, Yixuan Li, Le Ma, Yuhang Yang, Weiqi Huang, Wei Liang, Baoxiong Jia, Siyuan Huang
分类: cs.RO
发布日期: 2026-10-26
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Zero-HLM框架以解决人形机器人无实物数据的运动操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 运动操控 模拟训练 数据生成 高斯引导 迁移学习 机器人技术
📋 核心要点
- 核心问题：现有的人形机器人运动操控方法依赖昂贵的现实世界数据，限制了其可推广性和应用范围。
- 方法要点：Zero-HLM框架通过将手机捕捉和模拟演示结合，生成可扩展的训练数据，实现真实与模拟之间的有效转化。
- 实验或效果：实验表明，Zero-HLM在多个任务上实现了显著的性能提升，成功率从46.7%提升至66.7%，并在无额外真实数据的情况下提高了成功率。
📝 摘要（中文）
学习可推广的人形机器人运动操控仍受限于昂贵的现实世界演示。模拟提供了一种可扩展的替代方案，但需要视觉真实、物理准备的场景和可执行的全身动作。我们提出了Zero-HLM，一个真实-模拟-真实框架，将智能手机捕捉和模拟源演示转化为可扩展的人形运动操控训练数据。通过高斯引导的代理真实-模拟重建对齐视觉和物理场景；运动-环境共适应利用回滚反馈修正全身参考和交互几何。我们生成了4800个物理验证的演示，实现了在三个Unitree G1任务上的零-shot迁移。经过模拟训练的GR00T N1.7在全任务成功率上达到了66.7%，而使用真实数据训练的成功率为46.7%。在广义配置上，扩展的模拟训练将基于真实数据策略的成功率从23%提升至69%，无需额外的真实演示。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在运动操控任务中对昂贵真实数据的依赖问题。现有方法往往需要大量的现实世界演示，导致训练成本高昂且难以推广。
核心思路：论文提出的Zero-HLM框架通过结合真实世界的智能手机捕捉和模拟环境中的演示，生成可扩展的训练数据，从而实现人形机器人的运动操控能力的提升。该方法通过高斯引导的重建技术，确保视觉和物理场景的对齐，进而提升训练效果。
技术框架：Zero-HLM框架主要包括三个模块：真实数据捕捉、模拟环境构建和运动-环境共适应。首先，通过智能手机捕捉真实场景数据；然后在模拟环境中进行训练；最后利用回滚反馈进行运动和环境的共同适应。
关键创新：最重要的技术创新在于高斯引导的真实-模拟重建方法，该方法有效地对齐了视觉和物理场景，解决了传统方法中场景不一致的问题。与现有方法相比，Zero-HLM能够在没有额外真实数据的情况下实现更高的成功率。
关键设计：在设计中，采用了特定的损失函数来优化视觉和物理场景的对齐，同时在网络结构上进行了优化，以支持运动-环境的共适应过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过Zero-HLM框架训练的GR00T N1.7在全任务成功率上达到了66.7%，相比于使用真实数据训练的46.7%有显著提升。此外，在广义配置下，成功率从23%提升至69%，展示了该方法的强大迁移能力。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭服务、工业自动化和娱乐等场景中的运动操控。通过减少对真实数据的依赖，Zero-HLM能够加速机器人技术的开发和部署，提升其在复杂环境中的适应能力和灵活性。
📄 摘要（原文）
Learning generalizable humanoid loco-manipulation remains bottlenecked by costly real-world demonstrations. Simulation provides a scalable alternative, but requires visually faithful, physics-ready scenes and executable whole-body motions. We present Zero-HLM, a real-to-sim-to-real framework that transforms smartphone captures and simulated source demonstrations into scalable training data for humanoid loco-manipulation. Gaussian-guided agentic real-to-sim reconstruction aligns visual and physical scenes; motion-environment co-adaptation uses rollout feedback to correct whole-body references and interaction geometry. We generate 4,800 physically validated demonstrations for zero-shot transfer across three Unitree G1 tasks. Simulation-trained GR00T N1.7 achieves 66.7% mean full-task success, versus 46.7% with real-data training. On generalized configurations, expanded simulation training raises pooled success from 23% for base-trained real-data policies to 69%, without additional real demonstrations. Project page: https://young-bit.github.io/zero-hlm/