TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation
作者: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出TabletopGen以解决桌面场景生成与交互模拟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 桌面场景生成 机器人操作 交互模拟 物理合理性 多模态数据合成
📋 核心要点
- 现有的3D场景生成方法在机器人操作数据合成中存在实例级交互性和物理合理性不足的问题。
- 提出TabletopGen，通过文本或图像生成3D物体模型，并利用新颖的对齐方法构建无碰撞的场景布局。
- 实验结果显示，TabletopGen在视觉保真度、布局准确性和物理合理性方面超越了现有技术，且在真实机器人上验证了轨迹的可执行性。
📝 摘要（中文）
模拟为大规模机器人操作数据收集提供了一种低成本、可扩展的途径。然而，现有的3D场景生成方法通常无法直接应用于操作数据合成，因为生成的场景往往缺乏实例级的交互性和物理合理性。针对桌面操作，本文提出了TabletopGen，一个无训练且自动化的桌面场景生成与交互模拟引擎。该方法从文本或单张图像出发，首先通过生成实例提取获得独立的3D物体模型。接着，提出了一种新颖的姿态和尺度对齐方法，利用可微分旋转优化器和顶视空间对齐机制恢复无碰撞的场景布局。最后，将生成的场景组装到物理模拟器中，形成一个稳定的、可交互的环境，以合成多模态操作数据。大量实验和用户研究表明，TabletopGen在视觉保真度、布局准确性和物理合理性方面达到了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决现有3D场景生成方法在机器人操作数据合成中缺乏实例级交互性和物理合理性的问题。现有方法往往无法直接应用于复杂的操作场景，限制了其在实际应用中的有效性。
核心思路：TabletopGen的核心思想是通过无训练的方式，从文本或单张图像生成3D物体模型，并通过新颖的对齐方法构建无碰撞的场景布局，以实现高效的桌面场景生成与交互模拟。
技术框架：该方法的整体架构包括三个主要阶段：首先进行生成实例提取以获取3D物体模型；其次应用可微分旋转优化器和顶视空间对齐机制进行姿态和尺度对齐；最后在物理模拟器中组装生成的场景，形成可交互的环境。
关键创新：TabletopGen的主要创新在于其无训练的自动化场景生成能力，以及结合可微分优化技术的姿态和尺度对齐方法，这与传统方法的手动调整和训练过程形成了鲜明对比。
关键设计：在技术细节上，采用了可微分旋转优化器来优化物体的姿态，确保生成场景的无碰撞性；同时，顶视空间对齐机制用于精确对齐物体的尺度和位置，确保生成场景的物理合理性。整体设计注重提高生成效率和场景的交互性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TabletopGen在视觉保真度、布局准确性和物理合理性方面均达到了最先进的水平，具体性能提升幅度超过了现有基线方法，且在真实机器人上验证了生成轨迹的可执行性，显示出其在实际应用中的可靠性。
🎯 应用场景
TabletopGen在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。其能够快速生成高质量的桌面场景，为机器人在复杂环境中的操作提供可靠的数据支持，进而推动智能机器人在实际应用中的发展与普及。
📄 摘要（原文）
Simulation provides a low-cost, scalable pathway to large-scale robotic manipulation data collection. However, existing 3D scene generation methods can rarely be applied directly to manipulation data synthesis, as their generated scenes often lack instance-level interactivity and physical plausibility. Focusing on tabletop manipulation, we propose TabletopGen, a training-free and automated tabletop scene generation and interactive simulation engine. Starting from text or a single image, we first obtain independent 3D object models via generative instance extraction. Second, we introduce a novel pose and scale alignment approach that recovers a collision-free scene layout using a Differentiable Rotation Optimizer and a Top-View Spatial Alignment mechanism. Finally, we assemble the generated scene in a physics simulator with collision geometry, yielding a stable, interactable environment for synthesizing multimodal manipulation data. Extensive experiments and user studies demonstrate that TabletopGen achieves state-of-the-art performance in visual fidelity, layout accuracy, and physical plausibility. Furthermore, we validate the executability of the collected trajectories on a real robotic arm via zero-shot real-to-sim-to-real policy transfer, indicating that TabletopGen can serve as a reliable data engine for robotic manipulation data synthesis.