SceneAgent: An Agentic Pipeline from 3D and 4D Captures to Simulation Environments

📄 arXiv: 2610.34745v1 📥 PDF

作者: Luke Hollis, Tianxing Fan, Heng Yang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-26

💡 一句话要点

提出SceneAgent以解决3D/4D场景转化为模拟环境的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 4D视频 物理建模 机器人抓取 模拟环境 策略学习 视觉检查 多样性生成

📋 核心要点

  1. 现有方法在将视觉捕捉数据转化为交互式模拟环境时面临物体重建和物理建模的挑战，且中间错误修正困难。
  2. SceneAgent通过一个代理管道，协调3D和4D捕捉数据的处理，结合视觉检查和修复，提升了重建和模拟的效率。
  3. 实验结果显示，SceneAgent在多个基准测试中显著提高了F1分数和动态IoU，展示了其在真实机器人策略转移中的潜力。

📝 摘要（中文）

视觉捕捉提供了详细的场景外观，但将其转换为交互式模拟环境需要进行物体重建、物理建模和中间错误的修正。我们提出了SceneAgent，一个通过基于模拟器的视觉检查和修复来协调这些步骤的代理管道。该管道处理3D高斯点云、摄影测量、LiDAR捕捉、AI生成的3D场景以及动态场景的4D视频，结合了物体分割、物理参数估计、部件分解、关节运动和可变形模拟。为了支持策略学习，SceneAgent生成多样的物体变体（“数字姐妹”）和脚本演示。在GraspClutter6D的一个杂乱场景中，SceneAgent在每个编码代理的F1分数上提高了1 cm的表现，其重建效果优于SimFoundry，所有代理配置的F1分数均超过SimFoundry，最佳达60.75%对比6.9%。在4DCodeBench的三个动态场景中，SceneAgent将Gemini 4 Argon的平均动态IoU从0.86%提升至99.09%。我们进一步展示了多样的模拟交互和初步的策略转移到真实机器人。

🔬 方法详解

问题定义：本论文旨在解决将视觉捕捉数据（如3D和4D场景）转化为交互式模拟环境的复杂问题。现有方法在物体重建、物理建模和错误修正方面存在不足，导致模拟效果不佳。

核心思路：SceneAgent的核心思路是通过一个代理管道，整合多种数据源（如3D高斯点云、LiDAR捕捉等），并利用基于模拟器的视觉检查和修复技术，提升重建和模拟的准确性和效率。

技术框架：该方法的整体架构包括多个主要模块：数据捕捉、物体分割、物理参数估计、部件分解、关节运动建模和可变形模拟。每个模块相互协作，确保从数据捕捉到模拟环境的无缝转化。

关键创新：最重要的技术创新在于引入了“数字姐妹”概念，通过生成多样的物体变体来增强策略学习的多样性。此外，基于模拟器的视觉检查和修复方法显著提高了重建质量。

关键设计：在设计中，使用了特定的损失函数来优化物体重建的精度，并在网络结构中引入了多层次的特征提取机制，以处理复杂的动态场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SceneAgent在GraspClutter6D的杂乱场景中，所有代理配置的F1分数均超过SimFoundry，最佳达60.75%对比6.9%。在4DCodeBench的动态场景中，平均动态IoU从0.86%提升至99.09%，展示了显著的性能提升。

🎯 应用场景

SceneAgent的研究成果在多个领域具有潜在应用价值，包括机器人抓取、虚拟现实和增强现实等。通过将真实世界的视觉数据转化为可交互的模拟环境，该技术能够提升机器人在复杂环境中的操作能力，并为未来的智能系统提供更为真实的训练平台。

📄 摘要（原文）

Visual captures provide detailed scene appearance, but converting them into interactive simulation environments requires object reconstruction, physical modeling, and correction of intermediate errors. We present SceneAgent, an agentic pipeline that coordinates these steps through simulator-based visual inspection and repair. The pipeline processes 3D Gaussian Splatting (3DGS), photogrammetry, LiDAR captures, AI-generated 3DGS scenes, and 4D videos of dynamic scenes, and combines object segmentation, physical parameter estimation, part decomposition, articulation, and deformable simulation. To support policy learning, SceneAgent generates diverse object variants ("digital sisters") and scripted demonstrations. On a cluttered bin scene from GraspClutter6D, SceneAgent raises F1 at 1 cm for every coding agent with scorable outputs both with and without its skills, and its reconstructions are better than SimFoundry: all agent configurations exceed SimFoundry's F1 score, with a best of 60.75% versus 6.9%. On three dynamic scenes from 4DCodeBench, SceneAgent raises the mean dynamic IoU of Gemini 4 Argon from 0.86% to 99.09%. We further demonstrate diverse simulated interactions and preliminary policy transfer to a real robot.