DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation
作者: Bardienus P. Duisterhof, Zhao Mandi, Yunchao Yao, Jia-Wei Liu, Jenny Seidenschwarz, Mike Zheng Shou, Deva Ramanan, Shuran Song, Stan Birchfield, Bowen Wen, Jeffrey Ichnowski
分类: cs.CV, cs.RO
发布日期: 2023-11-30 (更新: 2024-08-30)
💡 一句话要点
提出DeformGS以解决高度可变形场景中的场景流问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可变形物体 场景流 高斯点云 机器人操作 3D跟踪 物理启发正则化 多摄像头捕捉
📋 核心要点
- 现有方法在可变形物体操作中面临遮挡、状态空间复杂等挑战，导致跟踪精度不足。
- DeformGS通过多摄像头视频捕捉和高斯点云技术，学习变形函数以实现高质量场景流恢复。
- 实验表明，DeformGS在跟踪精度上比现有技术提升了55.8%，在纹理充足的情况下，跟踪误差仅为3.3毫米。
📝 摘要（中文）
教导机器人折叠、悬挂或重新定位可变形物体（如布料）将开启多种自动化应用。尽管在刚性物体操作方面取得了显著进展，但操作可变形物体面临独特挑战，包括频繁的遮挡、无限维状态空间和复杂的动态。本文提出DeformGS，通过同时从多个摄像头捕捉动态场景，恢复高度可变形场景中的场景流。DeformGS基于高斯点云技术，学习变形函数，将具有规范属性的一组高斯投影到世界空间。通过物理启发的正则化项，DeformGS在高度可变形场景中实现高质量的3D跟踪，实验结果显示其3D跟踪性能比现有方法平均提升55.8%。
🔬 方法详解
问题定义：本文旨在解决在高度可变形场景中进行3D跟踪的难题，现有方法在遮挡和动态变化下表现不佳，导致跟踪精度低下。
核心思路：DeformGS的核心思路是利用多摄像头同时捕捉动态场景，通过学习变形函数将高斯点云映射到世界空间，从而实现高效的场景流恢复。
技术框架：DeformGS的整体架构包括数据捕捉模块、变形函数学习模块和正则化模块。数据捕捉模块负责从多个视角获取视频，变形函数学习模块通过神经体素编码和多层感知机推断高斯的位置、旋转和阴影标量。正则化模块则基于动量守恒和等距性约束优化跟踪轨迹。
关键创新：DeformGS的主要创新在于结合高斯点云技术与物理启发的正则化方法，显著提高了在复杂动态场景中的跟踪精度，与现有方法相比具有本质的性能提升。
关键设计：在设计中，使用了神经体素编码和多层感知机来推断高斯的状态，并引入了物理启发的正则化项以减少轨迹误差，确保跟踪的稳定性和准确性。具体损失函数的设计考虑了动量和等距性约束。
🖼️ 关键图片
📊 实验亮点
DeformGS在实验中表现出色，3D跟踪精度平均提升55.8%，在纹理丰富的布料上，跟踪误差仅为3.3毫米。这一结果显著优于现有的最先进技术，展示了其在复杂动态场景中的有效性。
🎯 应用场景
DeformGS的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高对可变形物体的跟踪能力，机器人能够更好地执行复杂的操作任务，如布料的折叠和悬挂，从而推动自动化技术的发展。此外，该技术还可用于创建更为真实的数字双胞胎，增强现实场景的交互性。
📄 摘要（原文）
Teaching robots to fold, drape, or reposition deformable objects such as cloth will unlock a variety of automation applications. While remarkable progress has been made for rigid object manipulation, manipulating deformable objects poses unique challenges, including frequent occlusions, infinite-dimensional state spaces and complex dynamics. Just as object pose estimation and tracking have aided robots for rigid manipulation, dense 3D tracking (scene flow) of highly deformable objects will enable new applications in robotics while aiding existing approaches, such as imitation learning or creating digital twins with real2sim transfer. We propose DeformGS, an approach to recover scene flow in highly deformable scenes, using simultaneous video captures of a dynamic scene from multiple cameras. DeformGS builds on recent advances in Gaussian splatting, a method that learns the properties of a large number of Gaussians for state-of-the-art and fast novel-view synthesis. DeformGS learns a deformation function to project a set of Gaussians with canonical properties into world space. The deformation function uses a neural-voxel encoding and a multilayer perceptron (MLP) to infer Gaussian position, rotation, and a shadow scalar. We enforce physics-inspired regularization terms based on conservation of momentum and isometry, which leads to trajectories with smaller trajectory errors. We also leverage existing foundation models SAM and XMEM to produce noisy masks, and learn a per-Gaussian mask for better physics-inspired regularization. DeformGS achieves high-quality 3D tracking on highly deformable scenes with shadows and occlusions. In experiments, DeformGS improves 3D tracking by an average of 55.8% compared to the state-of-the-art. With sufficient texture, DeformGS achieves a median tracking error of 3.3 mm on a cloth of 1.5 x 1.5 m in area. Website: https://deformgs.github.io