3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance

📄 arXiv: 2606.31329v1 📥 PDF

作者: Dongyoon Hwang, Byungkun Lee, Dongjin Kim, Hyojin Jang, Hoiyeong Jin, Jueun Mun, Minho Park, Hojoon Lee, Hyunseung Kim, Jaegul Choo

分类: cs.RO, cs.AI

发布日期: 2026-06-30

备注: Published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026. Code: https://github.com/DAVIAN-Robotics/3D_HAMSTER. Project page: https://davian-robotics.github.io/3D_HAMSTER/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出3D HAMSTER以解决2D引导下的机器人操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 层次化模型 视觉-语言-动作 3D轨迹预测 机器人操控 深度编码器 点云处理 泛化能力

📋 核心要点

  1. 现有的2D引导方法在深度信息不足的情况下，导致机器人轨迹几何失真，影响操控精度。
  2. 本文提出3D HAMSTER框架，通过直接输出3D轨迹，结合深度编码器和密集深度重建目标，提升轨迹预测的准确性。
  3. 实验结果显示，3D HAMSTER在多种条件下均优于现有的VLM和2D引导基线，尤其在外观变化和未见条件下提升显著。

📝 摘要（中文）

层次化视觉-语言-动作（VLA）模型通过将高层规划与低层控制解耦，提升了机器人操控的泛化能力。然而，现有方法使用的2D末端执行器轨迹在深度信息缺失的情况下，导致几何失真。为了解决这一问题，本文提出了3D HAMSTER框架，直接输出可靠的3D轨迹，并通过增强的视觉-语言模型（VLM）与深度编码器进行3D路径预测。实验表明，3D HAMSTER在3D轨迹预测、仿真和实际操控中均显著优于现有的VLM和2D引导基线，尤其在外观变化和未见语言、空间及视觉条件下表现最佳。

🔬 方法详解

问题定义：本文旨在解决现有2D引导方法在机器人操控中缺乏深度信息导致的几何失真问题。现有方法依赖2D轨迹，无法满足3D空间操作的需求。

核心思路：3D HAMSTER框架通过直接输出3D轨迹，结合深度编码器，确保轨迹在3D度量空间中的可靠性，从而提升机器人操控的精度和泛化能力。

技术框架：该框架包括一个增强的视觉-语言模型（VLM），一个专用的深度编码器，以及一个低层次的基于点云的控制策略。VLM负责生成3D路径，深度编码器则用于提供必要的深度信息。

关键创新：3D HAMSTER的核心创新在于其能够直接生成3D轨迹，而不是依赖2D引导，从而消除了深度信息缺失带来的几何失真问题。这一设计使得机器人在复杂环境中能够更准确地执行任务。

关键设计：在模型设计中，采用了专用的深度编码器和密集深度重建损失函数，以确保3D路径的准确性。此外，网络结构经过优化，以提高在不同条件下的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3D HAMSTER在3D轨迹预测和实际操控中均显著优于现有的VLM和2D引导基线。在外观变化和未见条件下，性能提升幅度最大，展示了该方法在多样化环境中的强大适应性。

🎯 应用场景

该研究在机器人操控、自动化制造和智能家居等领域具有广泛的应用潜力。通过提供更准确的3D轨迹指导，3D HAMSTER能够提升机器人在复杂环境中的操作能力，推动智能机器人技术的发展。

📄 摘要（原文）

Hierarchical Vision-Language-Action (VLA) models decouple high-level planning from low-level control to improve generalization in robot manipulation. Recent work in this paradigm uses 2D end-effector trajectories predicted by a Vision-Language Model (VLM) as explicit guidance for a downstream policy. However, state-of-the-art low-level policies operate in 3D metric space on point clouds, and feeding them 2D guidance that lacks depth forces each waypoint to be assigned the depth of whatever scene surface lies beneath it, producing geometrically distorted trajectories. We propose 3D HAMSTER, a hierarchical framework that closes this gap by having the planner directly output metrically reliable 3D trajectories. We augment a VLM with a dedicated depth encoder and a dense depth reconstruction objective to predict 3D waypoint sequences, which are directly integrated into a pointcloudbased low-level policy. Across 3D trajectory prediction, simulation, and real-world manipulation, 3D HAMSTER consistently outperforms proprietary VLMs and 2D-guided baselines, with the largest gains under appearance-altering shifts and unseen language, spatial, and visual conditions. The project page is available at https://davian-robotics.github.io/3D_HAMSTER/.