Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions
作者: Kaifeng Zhang, Shuo Sha, Hanxiao Jiang, Matthew Loper, Hyunjong Song, Guangyan Cai, Zhuo Xu, Xiaochen Hu, Changxi Zheng, Yunzhu Li
分类: cs.RO, cs.CV, cs.LG
发布日期: 2025-11-06 (更新: 2025-11-10)
备注: The first two authors contributed equally. Website: https://real2sim-eval.github.io/
💡 一句话要点
提出基于高斯溅射的软体交互机器人策略Real2Sim评估框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知 (Perception & SLAM)
关键词: 机器人操作 Real-to-Sim 高斯溅射 软体交互 策略评估
📋 核心要点
- 现有机器人策略评估在真实世界中成本高、难复现，而传统仿真难以捕捉软体交互的视觉和物理复杂性。
- 该论文提出一种Real-to-Sim框架，利用3D高斯溅射从真实视频构建软体数字孪生，实现高保真渲染。
- 实验表明，该方法在可变形操作任务中，模拟结果与真实世界执行性能高度相关，能有效评估机器人策略。
📝 摘要（中文）
机器人操作策略发展迅速，但直接在现实世界中评估成本高昂、耗时且难以重现，特别是对于涉及可变形对象的任务。仿真提供了一种可扩展且系统性的替代方案，但现有的仿真器通常无法捕捉软体交互中耦合的视觉和物理复杂性。本文提出了一种Real-to-Sim策略评估框架，该框架从真实世界的视频中构建软体数字孪生，并使用3D高斯溅射以逼真的保真度渲染机器人、对象和环境。我们在具有代表性的可变形操作任务（包括毛绒玩具包装、绳索布线和T型块推动）上验证了我们的方法，证明了模拟rollout与真实世界执行性能密切相关，并揭示了学习策略的关键行为模式。我们的结果表明，将物理信息重建与高质量渲染相结合，可以对机器人操作策略进行可重现、可扩展和准确的评估。
🔬 方法详解
问题定义：现有机器人操作策略的评估主要依赖于真实环境中的实验，这存在成本高昂、耗时、难以复现等问题，尤其是在处理软体对象时，由于其复杂的形变和交互，仿真环境难以准确建模，导致仿真结果与真实世界存在较大差距。因此，如何构建一个能够准确反映真实世界软体交互的仿真环境，从而实现高效、可信的机器人策略评估，是本文要解决的核心问题。
核心思路：本文的核心思路是利用3D高斯溅射技术，从真实世界的视频中重建软体对象的数字孪生模型，并将其与机器人、环境等元素进行高保真渲染，从而构建一个逼真的仿真环境。通过在这个仿真环境中执行机器人策略，可以获得与真实世界高度相关的评估结果。这种方法结合了物理信息重建和高质量渲染，旨在弥合真实世界与仿真环境之间的差距。
技术框架：该Real-to-Sim策略评估框架主要包含以下几个阶段：1) 数据采集：使用相机记录机器人与软体对象交互的真实视频。2) 三维重建：利用多视角立体视觉或SLAM等技术，从视频中重建软体对象的三维模型。3) 高斯溅射渲染：使用3D高斯溅射技术对重建的三维模型进行渲染，生成逼真的视觉效果。4) 物理仿真：将渲染后的模型导入物理引擎，进行机器人策略的仿真执行。5) 策略评估：根据仿真结果评估机器人策略的性能。
关键创新：该论文的关键创新在于将3D高斯溅射技术应用于机器人策略的Real-to-Sim评估中。与传统的基于网格或体素的渲染方法相比，高斯溅射能够以更高的效率和更低的内存占用生成高质量的渲染图像，从而实现更逼真的仿真效果。此外，该方法还结合了物理信息重建，使得仿真环境能够更准确地反映真实世界的物理特性。
关键设计：在3D高斯溅射渲染阶段，需要对高斯分布的参数（如位置、协方差、颜色等）进行优化，以最小化渲染图像与真实图像之间的差异。这通常可以通过反向传播算法来实现。在物理仿真阶段，需要选择合适的物理引擎和参数设置，以保证仿真的稳定性和准确性。此外，还需要设计合适的奖励函数，以引导机器人学习期望的行为。
📊 实验亮点
实验结果表明，该方法在毛绒玩具包装、绳索布线和T型块推动等可变形操作任务中，模拟rollout与真实世界执行性能密切相关。通过对比不同的机器人策略，该方法能够准确预测其在真实世界中的表现，并揭示关键的行为模式。这表明，结合物理信息重建与高质量渲染能够实现对机器人操作策略的可重现、可扩展和准确的评估。
🎯 应用场景
该研究成果可广泛应用于机器人操作策略的开发和评估，尤其是在涉及软体对象的操作任务中，例如服装整理、医疗手术、食品加工等。通过构建逼真的仿真环境，可以加速机器人策略的迭代优化过程，降低实际部署的风险和成本。此外，该方法还可以用于机器人技能的学习和迁移，以及人机协作的安全性评估。
📄 摘要（原文）
Robotic manipulation policies are advancing rapidly, but their direct evaluation in the real world remains costly, time-consuming, and difficult to reproduce, particularly for tasks involving deformable objects. Simulation provides a scalable and systematic alternative, yet existing simulators often fail to capture the coupled visual and physical complexity of soft-body interactions. We present a real-to-sim policy evaluation framework that constructs soft-body digital twins from real-world videos and renders robots, objects, and environments with photorealistic fidelity using 3D Gaussian Splatting. We validate our approach on representative deformable manipulation tasks, including plush toy packing, rope routing, and T-block pushing, demonstrating that simulated rollouts correlate strongly with real-world execution performance and reveal key behavioral patterns of learned policies. Our results suggest that combining physics-informed reconstruction with high-quality rendering enables reproducible, scalable, and accurate evaluation of robotic manipulation policies. Website: https://real2sim-eval.github.io/