GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments

📄 arXiv: 2606.17520v1 📥 PDF

作者: Jiawei Zhang, Yiming Yan, Chao Liang, Nuo Xu, Seson Sun, Qichen Zhang, Yuhao Xu, Yantai Yang, Yingqiao Wang, Qin Jin, Zhipeng Zhang

分类: cs.RO, cs.CV

发布日期: 2026-06-16

💡 一句话要点

提出GASE以解决高保真仿真环境重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 仿真环境重建 高保真修复 多视角视频 机器人学习 数据增强

📋 核心要点

  1. 现有的重建方法在数据获取和前景物体提取方面效率低下，导致仿真环境构建的质量和速度受限。
  2. GASE通过全景摄像头阵列的多视角视频流进行环境扫描，并采用相机位姿策略提取物体，提升了重建效率和质量。
  3. 实验结果显示，GASE在分割精度上比现有方法提高了10%以上，并在实际机器人任务中与纯真实数据训练的策略保持了10%以内的性能差距。

📝 摘要（中文）

在现实世界中训练具身智能体需要熟练的操作员和昂贵的硬件，而仿真环境提供了一种具有成本效益的数据增强替代方案。因此，快速构建高保真的仿真场景以缩小仿真与现实之间的差距成为机器人学习中的关键目标。现有的重建方法在数据获取和前景物体提取方面效率低下。为此，我们提出了GASE，一个高度自动化的仿真场景构建系统。GASE利用全景摄像头阵列的多视角视频流进行快速环境扫描，并通过基于相机位姿的策略在2D域中稳健地提取物体，随后进行高保真场景修复。前景物体和静态背景独立重建，并无缝导入物理模拟器进行策略训练。实验表明，GASE在分割精度上比现有的3D高斯方法提高了10%以上，同时在修复质量上达到了最先进水平。

🔬 方法详解

问题定义：本论文旨在解决高保真仿真环境重建中的数据获取效率低和前景物体提取不佳的问题。现有方法在这些方面存在显著不足，影响了仿真与现实之间的差距。

核心思路：GASE的核心思路是利用全景摄像头阵列获取多视角视频流，通过相机位姿策略稳健地提取物体，并进行高保真场景修复，以实现高效的仿真环境构建。

技术框架：GASE的整体架构包括环境扫描、物体提取、场景修复和物理模拟器导入四个主要模块。首先，通过全景摄像头进行环境扫描，接着提取前景物体，随后进行场景修复，最后将重建的场景导入物理模拟器。

关键创新：GASE的主要创新在于其相机位姿策略，该策略在2D域中有效提取物体，并与高保真场景修复相结合，显著提高了重建质量和效率。这一方法与传统的3D高斯方法相比，具有更高的分割精度和更好的修复效果。

关键设计：在设计中，GASE采用了多视角视频流的输入方式，并结合了先进的深度学习模型用于物体提取和场景修复。具体的损失函数和网络结构细节尚未公开，但其设计旨在最大化重建的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GASE在分割精度上比现有的3D高斯方法提高了超过10%，同时在场景修复质量上达到了最先进水平。此外，GASE在实际机器人操作中与纯真实数据训练的策略之间的性能差距保持在10%以内，展示了其在缩小仿真与现实差距方面的有效性。

🎯 应用场景

GASE的研究成果在机器人学习、虚拟现实和增强现实等领域具有广泛的应用潜力。通过高效构建仿真环境，GASE能够降低训练成本，提高智能体在复杂任务中的表现，推动相关技术的实际应用和发展。

📄 摘要（原文）

Training embodied agents in the real world requires skilled operators and expensive hardware. Simulation environments offer a compelling alternative by enabling large-scale, cost-effective data augmentation. Consequently, rapidly constructing high-fidelity simulation scenes with a minimal sim-to-real gap has become a critical objective in robot learning. While reconstruction-based methods provide superior visual quality, current workflows are hindered by inefficient data acquisition and subpar foreground object extraction. We thus propose GASE, a highly automated system for simulation scene construction. GASE leverages multi-view video streams from panoramic camera arrays to enable rapid environment scanning. To ensure high-quality asset generation, our pipeline introduces a camera-pose-based strategy that robustly extracts objects across frames in the 2D domain, followed by high-fidelity scene inpainting. Foreground objects and the static background are then reconstructed independently and seamlessly imported into physics simulators for policy training. Extensive experiments demonstrate that GASE outperforms existing 3D Gaussian-based methods in segmentation accuracy by over 10\% while achieving state-of-the-art inpainting quality. Furthermore, real-robot deployments across manipulation and navigation tasks maintains a performance gap of less than 10\% compared to policies trained purely on real-world data. These results confirm that GASE provides an efficient and highly effective solution for bridging the sim-to-real gap. Code will be released.