SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation
作者: Nadun Ranawaka, Josiah Wong, Wei-Lin Pai, Wei-Teng Chu, Tianyuan Dai, Masoud Moghani, Hang Yin, Yunfan Jiang, Wesley Durbano, Brandon Huynh, Yu Fang, Linxi Fan, Danfei Xu, Ruohan Zhang, Li Fei-Fei, Bowen Wen, Ajay Mandlekar, Yuke Zhu
分类: cs.RO
发布日期: 2026-06-26
💡 一句话要点
提出SimFoundry以解决机器人政策训练与评估的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人政策 场景生成 自动化系统 数字双胞胎 任务编辑 政策泛化 模拟评估
📋 核心要点
- 现有方法在训练和评估机器人政策时面临高成本和难以扩展的问题，限制了其应用。
- SimFoundry提出了一种模块化和自动化的系统，能够从视频中生成适合模拟的场景，支持多样化的场景编辑。
- 实验结果显示，使用SimFoundry训练的政策在现实任务中的成功率显著提高，验证了其有效性。
📝 摘要（中文）
训练和评估机器人政策在现实世界中成本高且难以扩展。我们介绍了SimFoundry，一个模块化和自动化的系统，能够从视频中进行零-shot的真实到模拟场景构建。SimFoundry生成适合模拟的数字双胞胎，并支持对象、场景和任务编辑，能够自动生成多样化的数字副本：保留可用性的重建现实场景的变体。在多步骤操作、关节对象交互和双手交互等具有挑战性的真实任务中，基于SimFoundry数据训练的政策能够实现零-shot转移。通过7个操作任务和5种政策架构的评估，SimFoundry的模拟评估能够强有力地预测现实世界的表现，平均皮尔逊相关系数为0.911，平均最大排名违背为0.018。在现实世界中零-shot评估模拟训练的政策时，使用对象、场景和任务副本训练的政策在任务成功率上分别提高了17%、21%和40%。
🔬 方法详解
问题定义：本论文旨在解决机器人政策训练与评估中的高成本和难以扩展的问题。现有方法通常依赖于真实环境进行训练，导致资源消耗大且难以适应多变的现实场景。
核心思路：SimFoundry的核心思路是通过模块化和自动化的方式，从视频中生成适合模拟的场景，进而支持多样化的场景和任务编辑。这种方法能够实现零-shot的真实到模拟场景构建，降低了训练成本并提高了灵活性。
技术框架：SimFoundry的整体架构包括视频输入模块、场景生成模块、对象编辑模块和任务生成模块。首先，从视频中提取信息，然后生成数字双胞胎，最后进行多样化的场景和任务编辑，以适应不同的训练需求。
关键创新：SimFoundry的主要创新在于其能够自动生成保留可用性的场景变体，即数字副本。这种能力使得训练的政策能够更好地适应新的现实条件，与传统方法相比，显著提高了政策的泛化能力。
关键设计：在技术细节上，SimFoundry采用了特定的损失函数来确保生成场景的可用性，并设计了灵活的网络结构以支持多种对象和任务的编辑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SimFoundry在7个操作任务和5种政策架构下的模拟评估与现实世界表现之间具有强相关性，平均皮尔逊相关系数为0.911，最大排名违背为0.018。此外，使用SimFoundry训练的政策在现实任务中的成功率分别提高了17%、21%和40%。
🎯 应用场景
SimFoundry的研究成果在机器人领域具有广泛的应用潜力，尤其是在自动化制造、服务机器人和智能家居等场景中。通过降低训练成本和提高政策的泛化能力，SimFoundry能够加速机器人技术的开发和部署，推动智能系统的普及与应用。
📄 摘要（原文）
Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .