Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

📄 arXiv: 2601.02078v1 📥 PDF

作者: Chenghao Yin, Da Huang, Di Yang, Jichao Wang, Nanshu Zhao, Chen Xu, Wenjun Sun, Linjie Hou, Zhijun Li, Junhui Wu, Zhaobo Liu, Zhen Xiao, Sheng Zhang, Lei Bao, Rui Feng, Zhenquan Pang, Jiayu Li, Qian Wang, Maoqing Yao

分类: cs.RO

发布日期: 2026-01-05

🔗 代码/项目: GITHUB

💡 一句话要点

Genie Sim 3.0：基于LLM的高保真人形机器人综合仿真平台

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人仿真 大型语言模型 零样本迁移 自动化评估 机器人学习

📋 核心要点

  1. 现有机器人学习面临真实数据采集成本高昂和仿真环境真实度不足的挑战。
  2. Genie Sim 3.0利用LLM生成高保真仿真环境，并构建自动化评估流程，提升数据多样性和评估效率。
  3. 实验证明，基于Genie Sim 3.0生成的合成数据，机器人策略具备良好的零样本sim-to-real迁移能力。

📝 摘要（中文）

为了解决机器人学习模型开发中数据匮乏和仿真环境真实度不足的问题，本研究提出了Genie Sim 3.0，一个统一的机器人操作仿真平台。该平台包含Genie Sim Generator，一个由大型语言模型（LLM）驱动的工具，能够从自然语言指令构建高保真场景，实现快速和多维度的泛化，从而支持大规模数据收集和鲁棒策略评估。此外，本研究还提出了首个利用LLM进行自动化评估的基准，通过LLM大规模生成评估场景，并采用视觉-语言模型（VLM）建立自动化评估流程。同时，发布了一个包含超过200个任务的10000+小时合成数据的开源数据集。实验验证了该数据集在受控条件下具有强大的零样本sim-to-real迁移能力，证明合成数据可以有效替代真实世界数据，用于可扩展的策略训练。

🔬 方法详解

问题定义：现有机器人学习方法依赖大量真实世界数据，但数据采集成本高昂且难以扩展。同时，现有的仿真基准通常存在碎片化、范围狭窄或保真度不足的问题，导致sim-to-real迁移效果不佳。因此，需要一个能够快速生成多样化、高保真仿真环境的平台，以支持大规模机器人学习。

核心思路：利用大型语言模型（LLM）强大的生成能力，从自然语言指令生成高保真仿真场景。通过LLM的多维度泛化能力，可以快速创建各种不同的环境，从而解决数据多样性问题。同时，利用视觉-语言模型（VLM）进行自动化评估，提高评估效率。

技术框架：Genie Sim 3.0包含两个主要模块：Genie Sim Generator和自动化评估流程。Genie Sim Generator使用LLM从自然语言指令生成仿真场景，包括物体、环境和任务描述。自动化评估流程使用LLM生成评估场景，并使用VLM评估机器人的表现。

关键创新：该研究的关键创新在于将LLM应用于机器人仿真环境的生成和评估。利用LLM的自然语言理解和生成能力，可以快速创建多样化、高保真的仿真环境，并实现自动化评估。这是首次将LLM应用于机器人仿真领域的尝试。

关键设计：Genie Sim Generator使用预训练的LLM，并针对机器人仿真任务进行微调。LLM的输入是自然语言指令，输出是仿真场景的描述，包括物体的位置、形状、材质等。自动化评估流程使用LLM生成评估场景，并使用VLM评估机器人的表现，例如完成任务的成功率、时间等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Genie Sim 3.0生成的合成数据训练的机器人策略，在真实世界环境中表现出强大的零样本迁移能力。该研究发布了一个包含超过200个任务的10000+小时合成数据的开源数据集，为机器人学习研究提供了宝贵资源。

🎯 应用场景

Genie Sim 3.0可应用于各种机器人学习任务，例如机器人操作、导航和控制。该平台可以加速机器人算法的开发和测试，并降低数据采集成本。未来，该平台可以扩展到更多机器人类型和应用场景，例如自动驾驶、医疗机器人等，促进机器人技术的广泛应用。

📄 摘要（原文）

The development of robust and generalizable robot learning models is critically contingent upon the availability of large-scale, diverse training data and reliable evaluation benchmarks. Collecting data in the physical world poses prohibitive costs and scalability challenges, and prevailing simulation benchmarks frequently suffer from fragmentation, narrow scope, or insufficient fidelity to enable effective sim-to-real transfer. To address these challenges, we introduce Genie Sim 3.0, a unified simulation platform for robotic manipulation. We present Genie Sim Generator, a large language model (LLM)-powered tool that constructs high-fidelity scenes from natural language instructions. Its principal strength resides in rapid and multi-dimensional generalization, facilitating the synthesis of diverse environments to support scalable data collection and robust policy evaluation. We introduce the first benchmark that pioneers the application of LLM for automated evaluation. It leverages LLM to mass-generate evaluation scenarios and employs Vision-Language Model (VLM) to establish an automated assessment pipeline. We also release an open-source dataset comprising more than 10,000 hours of synthetic data across over 200 tasks. Through systematic experimentation, we validate the robust zero-shot sim-to-real transfer capability of our open-source dataset, demonstrating that synthetic data can server as an effective substitute for real-world data under controlled conditions for scalable policy training. For code and dataset details, please refer to: https://github.com/AgibotTech/genie_sim.