RORA: Realistic Object Reconstruction with Articulation

📄 arXiv: 2608.04842v1 📥 PDF

作者: Hyesung Lee, Youngseon Lee, Kyutae Lee, Dongjun Lee, Yongseok Lee

分类: cs.RO, cs.GR

发布日期: 2026-08-05

备注: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

💡 一句话要点

提出RORA以解决物体关节重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 物体重建 关节动作 机器人学习 3D高斯点云 仿真环境 用户交互 自动关节建议 实时操作

📋 核心要点

  1. 现有的运动跟踪和学习方法在复杂的关节结构上表现不佳，且需要动态扫描，增加了重建的复杂性。
  2. 本文提出了一种从单个静态视频输入中重建具有准确关节的仿真资产的端到端管道，结合了3DGS和网格几何体。
  3. 实验结果表明，所提方法在partnet-mobility-v0数据集上实现了精确的关节重建，并在Unreal Engine和NVIDIA Isaac Sim中展示了实时操作能力。

📝 摘要（中文）

将真实世界环境复制到仿真中，通过像NeRF和3D高斯点云（3DGS）这样的真实视觉表现，已成为减少机器人学习中的模拟与现实差距的有效策略。然而，在真实到仿真过程中实现物体关节动作仍然是一个挑战。现有的运动跟踪或基于学习的关节方法在具有多个关节的复杂运动结构上成功率较低，并且需要动态运动的扫描，使重建过程复杂化。本文提出了第一个端到端的管道，从单个静态物体视频输入中重建具有准确关节的仿真准备资产。我们的方案结合了3DGS进行照片级真实渲染和基于网格的几何体进行物理交互。重建过程中，管道执行凸分解，随后进行用户分组以实现直观的部分分割，随后将3D高斯绑定到相应的网格部分。自动关节建议算法计算候选关节轴，并向用户展示，以高效重建关节资产。我们的方法在partnet-mobility-v0数据集和真实物体上实现了精确的关节结果，并展示了在机器人学习中的潜在应用。

🔬 方法详解

问题定义：本文旨在解决在真实到仿真过程中物体关节重建的挑战。现有方法在复杂的运动结构上成功率低，且需要动态扫描，导致重建过程复杂。

核心思路：提出一种基于用户建议的管道，从单个静态视频中重建仿真资产，结合3DGS进行真实渲染和网格几何体进行物理交互，以简化重建过程。

技术框架：整体架构包括凸分解、用户分组、3D高斯与网格部分绑定，以及自动关节建议算法。首先进行凸分解以识别物体部分，然后通过用户分组实现直观的分割，最后绑定3D高斯到相应的网格部分。

关键创新：最重要的创新在于提出了自动关节建议算法，能够从局部边界几何中计算候选关节轴，并高效地向用户展示，显著提高了关节资产的重建效率。

关键设计：在重建过程中，采用了用户交互的方式进行部分分割，结合了3DGS的渲染技术和网格几何体的物理交互，确保了重建结果的准确性和实用性。实验中使用了partnet-mobility-v0数据集进行验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在partnet-mobility-v0数据集上实现了高精度的关节重建，成功率显著高于现有方法。此外，在真实物体的重建中，展示了良好的适应性和实时操作能力，证明了其在机器人学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人学习和仿真环境的构建。通过在Unreal Engine和NVIDIA Isaac Sim中部署重建的资产，可以实现复杂的机器人操作任务，提升机器人在真实环境中的适应能力和操作精度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Replicating real-world environments into simulation by realistic visual representation like NeRF and 3D Gaussian Splatting (3DGS) has emerged as an effective strategy to reduce the sim-to-real gap in robot learning. However, implementing object articulation during the real-to-sim process is still a challenging task. Existing motion tracking or learning based articulation methods shows low success rates on complex kinematic structures having multiple joints. Furthermore, those methods require scan of dynamic motion of objects, which makes reconstruction process much complicated. In this work, we propose the first end-to-end pipeline that reconstructs simulation-ready assets with accurate articulation from a single static object video input through suggestion based human-in-the-loop process. Our approach exports a hybrid representation combining 3DGS for photorealistic rendering and mesh-based geometry for physical interaction. In the reconstruction process, our pipeline performs convex decomposition followed by user grouping for intuitive part segmentation, subsequently binding 3D Gaussians to the corresponding mesh parts. An Automatic Joint Suggestion Algorithm then calculates candidate joint axes from local boundary geometries and presents them to users for efficient articulated asset reconstruction. We have shown that our method achieves precise articulation results on partnet-mobility-v0 dataset and real objects. Additionally we presented a potential usage of our framework on robot learning, deploying the reconstructed assets in Unreal Engine and NVIDIA Isaac Sim, demonstrating real-time dexterous hand manipulation tasks.