Touch-GS: Visual-Tactile Supervised 3D Gaussian Splatting
作者: Aiden Swann, Matthew Strong, Won Kyung Do, Gadiel Sznaier Camps, Mac Schwager, Monroe Kennedy
分类: cs.RO, cs.CV
发布日期: 2024-03-14 (更新: 2024-08-15)
备注: 8 pages, 7 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Touch-GS以解决3D场景建模中的视觉与触觉融合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯点云 光学触觉传感器 深度估计 多模态融合 机器人操作 场景建模
📋 核心要点
- 现有方法在使用光学触觉传感器进行3D场景建模时，无法有效处理原始传感器数据，导致监督效果不佳。
- 本研究提出了一种结合高斯过程隐式表面与单目深度估计网络的方法，通过两阶段对齐来优化触觉与视觉数据的融合。
- 实验结果表明，Touch-GS在少视图场景合成中，较单独使用视觉或触觉的效果有显著提升，表现出更好的定量和定性结果。
📝 摘要（中文）
本研究提出了一种新颖的方法，通过光学触觉传感器对3D高斯点云（3DGS）场景进行监督。尽管光学触觉传感器在机器人操作和物体表示中得到了广泛应用，但原始数据不适合直接监督3DGS场景。我们的方法利用高斯过程隐式表面来隐式表示物体，将多个触摸数据合并为统一的表示，并结合不确定性。通过与单目深度估计网络的两阶段对齐，我们生成了每个训练图像对应的融合深度和不确定性图。实验结果表明，结合触觉和视觉的方法在不透明、反射和透明物体的少视图场景合成中，效果优于单独使用视觉或触觉。
🔬 方法详解
问题定义：本论文旨在解决如何有效利用光学触觉传感器数据来监督3D高斯点云（3DGS）场景建模的问题。现有方法在处理原始触觉数据时，无法直接应用于3DGS，导致建模效果不理想。
核心思路：我们的方法通过高斯过程隐式表面来隐式表示物体，结合多个触摸数据与不确定性，形成统一的表示。此设计旨在充分利用触觉数据的丰富信息，提升3D场景的建模精度。
技术框架：整体架构包括两个主要阶段：首先，使用深度相机进行粗对齐，然后通过触觉数据进行精细调整。每个训练图像生成对应的融合深度和不确定性图，作为训练的基础。
关键创新：本研究的核心创新在于提出了一种新的损失函数——方差加权深度监督损失，能够有效整合触觉与视觉信息，显著提升3DGS模型的训练效果。
关键设计：在技术细节上，我们使用DenseTact光学触觉传感器和RealSense RGB-D相机，设计了深度估计网络，并通过两阶段对齐优化模型训练过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Touch-GS在少视图场景合成中，相较于仅使用视觉或触觉的方法，定量和定性效果均有显著提升。具体而言，在不同材质（不透明、反射和透明物体）的场景中，模型的表现优于基线方法，展示了更高的准确性和鲁棒性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在机器人操作、物体识别和人机交互等领域。通过有效融合视觉与触觉信息，能够提升机器人在复杂环境中的操作能力，增强其对物体的理解和操控精度，未来可能推动智能机器人技术的发展。
📄 摘要（原文）
In this work, we propose a novel method to supervise 3D Gaussian Splatting (3DGS) scenes using optical tactile sensors. Optical tactile sensors have become widespread in their use in robotics for manipulation and object representation; however, raw optical tactile sensor data is unsuitable to directly supervise a 3DGS scene. Our representation leverages a Gaussian Process Implicit Surface to implicitly represent the object, combining many touches into a unified representation with uncertainty. We merge this model with a monocular depth estimation network, which is aligned in a two stage process, coarsely aligning with a depth camera and then finely adjusting to match our touch data. For every training image, our method produces a corresponding fused depth and uncertainty map. Utilizing this additional information, we propose a new loss function, variance weighted depth supervised loss, for training the 3DGS scene model. We leverage the DenseTact optical tactile sensor and RealSense RGB-D camera to show that combining touch and vision in this manner leads to quantitatively and qualitatively better results than vision or touch alone in a few-view scene syntheses on opaque as well as on reflective and transparent objects. Please see our project page at http://armlabstanford.github.io/touch-gs