GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation

📄 arXiv: 2510.20813v1 📥 PDF

作者: Guangqi Jiang, Haoran Chang, Ri-Zhao Qiu, Yutong Liang, Mazeyu Ji, Jiyue Zhu, Zhao Dong, Xueyan Zou, Xiaolong Wang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-10-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

GSWorld：结合3D高斯溅射与物理引擎的机器人操作闭环仿真平台

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人操作 仿真环境 3D高斯溅射 物理引擎 Sim2Real 强化学习 GSDF 闭环控制

📋 核心要点

  1. 现有机器人操作策略开发缺乏闭环验证，真实数据学习策略难以复现，sim2real迁移依赖真实机器人。
  2. GSWorld结合3D高斯溅射与物理引擎，构建照片级真实且可交互的仿真环境，实现闭环策略开发与评估。
  3. GSWorld通过GSDF格式整合场景信息，并展示了零样本sim2real、DAgger数据收集等多种应用，验证了其有效性。

📝 摘要（中文）

本文提出了GSWorld，一个鲁棒且照片级真实的机器人操作模拟器，它结合了3D高斯溅射与物理引擎。我们的框架提倡操作策略开发的“闭环”方法，通过对从真实机器人数据中学习到的策略进行可复现的评估，以及无需真实机器人的sim2real策略训练。为了实现多样化场景的照片级真实渲染，我们提出了一种新的资产格式，称之为GSDF（Gaussian Scene Description File，高斯场景描述文件），它将Mesh上的高斯表示与机器人URDF和其他对象融合在一起。通过简化的重建流程，我们整理了一个GSDF数据库，其中包含3种用于单臂和双臂操作的机器人模型，以及40多个对象。结合GSDF与物理引擎，我们展示了几个有趣的直接应用：（1）利用照片级真实渲染学习零样本sim2real像素到动作的操作策略，（2）自动高质量的DAgger数据收集，用于将策略适应到部署环境，（3）在模拟中对真实机器人操作策略进行可复现的基准测试，（4）通过虚拟遥操作进行模拟数据收集，以及（5）零样本sim2real视觉强化学习。

🔬 方法详解

问题定义：现有机器人操作策略的开发和评估面临真实感不足、难以复现和sim2real迁移成本高等问题。传统的仿真环境在视觉真实度上与真实世界存在差距，导致策略在仿真环境中表现良好，但在真实机器人上效果不佳。此外，从真实机器人数据中学习的策略难以在不同环境中复现，sim2real迁移通常需要大量的真实机器人实验。

核心思路：GSWorld的核心思路是构建一个照片级真实、可交互且可复现的机器人操作仿真环境，从而实现操作策略的闭环开发和评估。通过结合3D高斯溅射技术和物理引擎，GSWorld能够生成高度逼真的视觉场景，并模拟真实的物理交互过程。这种逼真的仿真环境可以用于训练零样本sim2real策略，并为真实机器人策略的基准测试提供可复现的平台。

技术框架：GSWorld的整体框架包括以下几个主要模块：(1) GSDF资产格式：用于描述场景中的对象和机器人，将Mesh上的高斯表示与机器人URDF和其他对象融合在一起。(2) 场景重建流水线：用于将真实世界的场景重建为GSDF格式。(3) 物理引擎：用于模拟场景中的物理交互过程。(4) 渲染引擎：用于生成照片级真实的视觉图像。(5) 策略训练和评估模块：用于训练和评估机器人操作策略。

关键创新：GSWorld的关键创新在于将3D高斯溅射技术与物理引擎相结合，从而实现了照片级真实且可交互的机器人操作仿真环境。此外，GSDF资产格式的提出也为场景的描述和管理提供了新的方法。通过这些创新，GSWorld能够更好地模拟真实世界的复杂性和不确定性，从而提高sim2real策略的泛化能力。

关键设计：GSWorld的关键设计包括：(1) 使用3D高斯溅射技术进行场景渲染，以实现照片级真实感。(2) 使用物理引擎模拟场景中的物理交互过程，例如碰撞、摩擦和重力。(3) 设计GSDF资产格式，用于描述场景中的对象和机器人，包括其几何形状、材质属性和物理属性。(4) 提供一套API，用于控制机器人、获取传感器数据和执行操作。

📊 实验亮点

GSWorld展示了在多个任务上的有效性，包括零样本sim2real像素到动作的操作策略学习、自动高质量DAgger数据收集、真实机器人操作策略的可复现基准测试、通过虚拟遥操作进行模拟数据收集以及零样本sim2real视觉强化学习。这些实验结果表明，GSWorld能够有效地模拟真实世界的复杂性和不确定性，从而提高sim2real策略的泛化能力。

🎯 应用场景

GSWorld具有广泛的应用前景，可用于机器人操作策略的开发、测试和部署。例如，可以利用GSWorld训练零样本sim2real策略，从而降低机器人部署的成本和时间。此外，GSWorld还可以用于生成高质量的训练数据，从而提高机器人学习算法的性能。GSWorld还可用于虚拟遥操作，进行数据收集，并为真实机器人策略的基准测试提供可复现的平台。该研究有助于推动机器人技术在工业、医疗、服务等领域的应用。

📄 摘要（原文）

This paper presents GSWorld, a robust, photo-realistic simulator for robotics manipulation that combines 3D Gaussian Splatting with physics engines. Our framework advocates "closing the loop" of developing manipulation policies with reproducible evaluation of policies learned from real-robot data and sim2real policy training without using real robots. To enable photo-realistic rendering of diverse scenes, we propose a new asset format, which we term GSDF (Gaussian Scene Description File), that infuses Gaussian-on-Mesh representation with robot URDF and other objects. With a streamlined reconstruction pipeline, we curate a database of GSDF that contains 3 robot embodiments for single-arm and bimanual manipulation, as well as more than 40 objects. Combining GSDF with physics engines, we demonstrate several immediate interesting applications: (1) learning zero-shot sim2real pixel-to-action manipulation policy with photo-realistic rendering, (2) automated high-quality DAgger data collection for adapting policies to deployment environments, (3) reproducible benchmarking of real-robot manipulation policies in simulation, (4) simulation data collection by virtual teleoperation, and (5) zero-shot sim2real visual reinforcement learning. Website: https://3dgsworld.github.io/.