Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies

📄 arXiv: 2610.35626v1 📥 PDF

作者: Zuoxu Wang, Xiao Liang

分类: cs.RO

发布日期: 2026-10-26

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于3D高斯点云的机器人对齐方法以解决精确抓取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人抓取 视觉-语言-动作 3D高斯点云 数据生成 电子废物拆解 手腕相机 自动化 深度学习

📋 核心要点

  1. 现有方法在复杂环境中进行精确抓取时，面临数据收集效率低和相机视角不一致等挑战。
  2. 本文提出了一种3D高斯点云数据生成管道，通过机器人对齐的姿态生成多样化的手腕相机观察，增强VLA策略的适应性。
  3. 实验结果显示，使用手腕相机观察的VLA策略在主板拆解任务中取得了80.0%的精确抓取成功率，显著高于传统方法。

📝 摘要（中文）

高效的机器人数据收集仍然是视觉-语言-动作（VLA）策略学习中的主要瓶颈，尤其是在需要精确末端执行器定位和相机-动作对齐的任务中。电子废物拆解任务尤为复杂，因为机器人在密集且视觉相似的组件中操作。本文提出了一种基于3D高斯点云（3DGS）的数据生成管道，用于手腕相机的VLA适应。该方法重建真实工作空间，并从机器人对齐的姿态中渲染多样的手腕相机观察。这些观察与平滑、结构化的抓取轨迹配对，为VLA微调提供了机器人对齐的视觉-动作监督。实验表明，仅使用手腕相机观察，VLA策略在主板拆解中实现了精确抓取，成功率达到80.0%。

🔬 方法详解

问题定义：本文旨在解决在复杂环境下进行精确抓取时，机器人数据收集效率低和相机视角不一致的问题。现有方法在电子废物拆解等任务中难以实现有效的视觉-语言-动作（VLA）策略学习。

核心思路：论文提出了一种基于3D高斯点云（3DGS）的数据生成管道，通过重建真实工作空间并生成多样的手腕相机观察，来增强VLA策略的适应性和准确性。

技术框架：整体架构包括三个主要模块：1) 3D高斯点云重建模块，用于构建真实工作空间；2) 手腕相机观察生成模块，从机器人对齐的姿态中渲染观察；3) VLA策略微调模块，通过平滑的抓取轨迹与观察配对进行训练。

关键创新：最重要的创新在于提出了3DGS数据生成管道，能够有效地生成与机器人对齐的视觉-动作监督，显著提高了抓取精度。与现有方法相比，该方法在复杂环境中表现出更高的适应性和准确性。

关键设计：在参数设置上，使用了平滑的抓取轨迹作为训练目标，损失函数设计为结合视觉和动作的监督信号。此外，网络结构采用了适应性强的深度学习模型，以处理复杂的视觉输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用手腕相机观察的VLA策略在主板拆解任务中实现了80.0%的精确抓取成功率，相较于仅使用150个遥控演示的58.7%成功率，提升幅度显著，同时仅需不到10分钟的人力数据捕获。

🎯 应用场景

该研究的潜在应用领域包括机器人拆解、制造业自动化和智能物流等。通过提高机器人在复杂环境中的抓取精度，能够显著提升自动化作业的效率和安全性，具有重要的实际价值和广泛的市场前景。

📄 摘要（原文）

Efficient robotic data collection remains a major bottleneck for vision-language-action (VLA) policy learning, especially for tasks requiring accurate end-effector positioning and camera-action alignment. This challenge is particularly severe in electronic-waste disassembly, where robots operate in cluttered assemblies of densely packed, visually similar components. Full digital-twin simulation is difficult because many parts are thin, reflective, or mechanically complex, making accurate object-level meshes and contact models difficult to obtain. In this work, we focus on pre-contact reaching and propose a 3D Gaussian Splatting (3DGS)-based data generation pipeline for wrist-camera VLA adaptation. Our method reconstructs the real workspace with 3DGS and renders diverse wrist-camera observations from robot-aligned poses. These observations are paired with smooth, structured reaching trajectories to provide robot-aligned visual-action supervision for VLA fine-tuning. We further augment the VLA policy with an instruction-conditioned reach verifier that estimates target proximity and provides reliable termination before physical interaction. Experiments in motherboard disassembly demonstrate precise VLA-based reaching using wrist-camera observations alone, without an external side-view camera. With $π$0.5, 1,500 generated trajectories achieve 80.0\% precise-reaching success across three targets, compared with 58.7\% using 150 teleoperated demonstrations, while requiring less than 10 minutes of active human capture. Project website: https://001-wang.github.io/PrecisionReach-GS/