GaussTwin: Unified Simulation and Correction with Gaussian Splatting for Robotic Digital Twins

📄 arXiv: 2603.05108v1 📥 PDF

作者: Yichen Cai, Paul Jansonnie, Cristiana de Farias, Oleg Arenz, Jan Peters

分类: cs.RO

发布日期: 2026-03-05

备注: 8 pages, 4 figures, 3 tables, ICRA 2026

💡 一句话要点

GaussTwin：利用高斯溅射实现机器人数字孪生的统一仿真与校正

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 数字孪生 高斯溅射 机器人操作 物理仿真 实时渲染

📋 核心要点

  1. 现有数字孪生系统在机器人操作中面临统一建模、复杂动态交互和真实-仿真差距等挑战，限制了下游应用。
  2. GaussTwin结合基于位置的动力学、Cosserat杆公式和高斯溅射，实现物理基础的仿真和高效的视觉校正。
  3. 实验表明，GaussTwin在跟踪精度和鲁棒性方面优于现有方法，并支持基于推动的规划等下游任务。

📝 摘要（中文）

数字孪生通过维持真实世界感知与仿真之间的一致性联系，有望增强机器人操作能力。然而，现有系统大多受限于缺乏统一模型、复杂的动态交互以及真实环境与仿真环境之间的差距，这限制了模型预测控制等下游应用。因此，我们提出了GaussTwin，一种实时数字孪生，它结合了基于位置的动力学与离散Cosserat杆公式，用于物理基础的仿真，并结合高斯溅射用于高效渲染和视觉校正。通过将高斯分布锚定到物理原语，并强制执行由光度误差和分割掩码驱动的连贯SE(3)更新，GaussTwin实现了稳定的预测-校正，同时保持了物理保真度。通过在仿真和Franka Research 3平台上进行的实验，我们表明，与形状匹配和仅刚体的基线相比，GaussTwin始终提高了跟踪精度和鲁棒性，同时还支持基于推动的规划等下游任务。这些结果表明，GaussTwin是朝着统一的、具有物理意义的数字孪生迈出的一步，它可以支持闭环机器人交互和学习。

🔬 方法详解

问题定义：论文旨在解决机器人数字孪生中，现有方法难以兼顾物理保真度和实时性的问题。现有方法通常依赖于简化的几何模型或刚体假设，难以准确模拟复杂物体的形变和动态交互。同时，真实环境与仿真环境的差异（real-to-sim gap）导致仿真结果难以直接应用于真实机器人控制。

核心思路：GaussTwin的核心思路是将高斯溅射（Gaussian Splatting）与物理仿真相结合，利用高斯溅射的高效渲染能力实现实时视觉反馈，并利用物理仿真保证数字孪生的物理合理性。通过将高斯分布与物理原语（如质点和杆）相关联，并利用光度误差和分割掩码驱动高斯分布的更新，实现预测-校正循环，从而提高跟踪精度和鲁棒性。

技术框架：GaussTwin的整体框架包含以下几个主要模块：1) 基于位置的动力学（Position-Based Dynamics, PBD）和离散Cosserat杆公式：用于模拟物体的物理行为，包括形变和运动。2) 高斯溅射：用于高效渲染场景，并提供视觉反馈。3) 预测-校正循环：利用光度误差和分割掩码，更新高斯分布的位置和姿态，从而校正仿真结果。该循环将视觉信息与物理仿真相结合，实现数字孪生的实时更新。

关键创新：GaussTwin的关键创新在于将高斯溅射与物理仿真相结合，实现了一种统一的数字孪生模型。与传统的基于几何模型的数字孪生相比，GaussTwin能够更准确地表示复杂物体的形状和外观。与传统的基于刚体的数字孪生相比，GaussTwin能够模拟物体的形变和动态交互。此外，GaussTwin的预测-校正循环能够有效地减小真实环境与仿真环境之间的差距。

关键设计：GaussTwin的关键设计包括：1) 将高斯分布锚定到物理原语：每个高斯分布与一个质点或杆相关联，从而保证高斯分布的更新与物理仿真保持一致。2) 利用光度误差和分割掩码驱动高斯分布的更新：光度误差用于衡量仿真图像与真实图像之间的差异，分割掩码用于区分不同的物体。通过最小化光度误差，并结合分割掩码，可以有效地校正高斯分布的位置和姿态。3) 使用SE(3)群上的更新：保证高斯分布的姿态更新是连贯的，避免出现不自然的形变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GaussTwin在跟踪精度和鲁棒性方面优于形状匹配和仅刚体的基线方法。在仿真环境中，GaussTwin的跟踪误差显著降低。在Franka Research 3平台上，GaussTwin成功实现了基于推动的规划任务，证明了其在实际机器人应用中的潜力。与基线方法相比，GaussTwin能够更准确地预测物体的运动轨迹，并生成更有效的控制策略。

🎯 应用场景

GaussTwin可应用于机器人操作、模型预测控制、虚拟现实和增强现实等领域。在机器人操作中，GaussTwin可以用于实时跟踪和控制柔性物体，提高操作精度和鲁棒性。在模型预测控制中，GaussTwin可以提供准确的物理仿真，从而优化控制策略。在虚拟现实和增强现实中，GaussTwin可以创建逼真的虚拟环境，增强用户体验。未来，GaussTwin有望应用于更广泛的机器人和人工智能领域，例如自主导航、智能制造和人机协作。

📄 摘要（原文）

Digital twins promise to enhance robotic manipulation by maintaining a consistent link between real-world perception and simulation. However, most existing systems struggle with the lack of a unified model, complex dynamic interactions, and the real-to-sim gap, which limits downstream applications such as model predictive control. Thus, we propose GaussTwin, a real-time digital twin that combines position-based dynamics with discrete Cosserat rod formulations for physically grounded simulation, and Gaussian splatting for efficient rendering and visual correction. By anchoring Gaussians to physical primitives and enforcing coherent SE(3) updates driven by photometric error and segmentation masks, GaussTwin achieves stable prediction-correction while preserving physical fidelity. Through experiments in both simulation and on a Franka Research 3 platform, we show that GaussTwin consistently improves tracking accuracy and robustness compared to shape-matching and rigid-only baselines, while also enabling downstream tasks such as push-based planning. These results highlight GaussTwin as a step toward unified, physically meaningful digital twins that can support closed-loop robotic interaction and learning.