GeoHAT: Geometry-Adaptive Hybrid Action Transformer for Mobile Manipulation

📄 arXiv: 2606.13394v1 📥 PDF

作者: Xiangyu Zhu, Renjun Wu, Luzhou Ge, Jinyan Liu, Xuesong Li

分类: cs.RO

发布日期: 2026-06-11

💡 一句话要点

提出GeoHAT以解决移动操控中的几何感知与动作生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 几何感知 动作生成 深度学习 机器人技术 视觉融合 时序建模

📋 核心要点

  1. 现有方法在移动操控中面临几何感知和动作生成的挑战，尤其是在动态视角下的协调问题。
  2. GeoHAT通过轻量级傅里叶空间编码器和基于深度有效性的门控融合，优化了几何信息的注入和视觉特征的融合。
  3. 在ManiSkill-HAB仿真基准上，GeoHAT实现了79.3%的平均成功率，显著超越了现有最强基线。

📝 摘要（中文）

全身移动操控需要在不断变化的视角下协调移动底盘和操控器，这对几何感知和动作生成提出了挑战。现有策略通常依赖于2D特征或稀疏的3D表示，缺乏密集的空间结构，并且通常将手臂和底盘编码为一个动作向量，忽视了它们各自的控制需求。此外，现有的密集融合策略在噪声深度下可能会破坏预训练表示，同时带来较大的计算开销。为此，本文提出了GeoHAT，一个基于扩散的端到端框架，核心思想是几何信息应在可靠的地方注入，并在需要的地方进行关注。GeoHAT采用轻量级的傅里叶空间编码器，将每个像素的3D坐标映射为几何标记，并通过基于深度有效性的每个标记门控融合，将这些标记选择性地注入到视觉基础模型特征中，从而保留语义先验并丰富空间理解。实验表明，GeoHAT在ManiSkill-HAB仿真基准上取得了79.3%的平均成功率，超越最强基线23.7%。

🔬 方法详解

问题定义：本文旨在解决全身移动操控中几何感知与动作生成的协调问题。现有方法通常依赖于2D特征或稀疏3D表示，缺乏密集的空间结构，且将手臂和底盘的控制需求合并为一个动作向量，导致控制效率低下。

核心思路：GeoHAT的核心思路是仅在可靠的地方注入几何信息，并在需要的地方进行关注。通过这种方式，GeoHAT能够在保持语义信息的同时，增强空间理解能力。

技术框架：GeoHAT的整体架构包括一个轻量级的傅里叶空间编码器和一个混合全身动作解码器。傅里叶编码器将每个像素的3D坐标映射为几何标记，而混合解码器则将手臂和底盘分解为不同的子空间，通过稀疏交叉注意力机制进行任务相关的视觉上下文关注。

关键创新：GeoHAT的主要创新在于采用了基于深度有效性的门控融合策略，能够在噪声环境下有效保留预训练表示，并减少计算开销。这一设计与现有方法的密集融合策略形成鲜明对比。

关键设计：在参数设置上，GeoHAT使用了轻量级的傅里叶空间编码器，避免了额外的3D视觉骨干网络。损失函数设计上，采用了针对动作生成的因果时间建模，确保了时序协调和依赖关系的捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoHAT在ManiSkill-HAB仿真基准上实现了79.3%的平均成功率，较最强基线提升了23.7%。此外，实际应用实验也表明GeoHAT在多样化任务中持续优于所有基线，验证了其有效性和可靠性。

🎯 应用场景

GeoHAT在移动操控领域具有广泛的应用潜力，尤其是在服务机器人、自动化仓储和智能制造等场景中。其高效的几何感知与动作生成能力将提升机器人在复杂环境中的操作灵活性与准确性，未来可能推动更多智能化应用的发展。

📄 摘要（原文）

Whole-body mobile manipulation requires coordinating mobile base and manipulator under shifting viewpoints, posing challenges in geometric perception and action generation. Current policies either rely on 2D features or sparse 3D representations that lack dense spatial structure, and typically encode arm and base within one action vector that ignores their distinct control demands. Moreover, existing dense fusion strategies risk corrupting pretrained representations under noisy depth while incurring heavy computational overhead. We present GeoHAT, an end-to-end diffusion-based framework built on a simple principle: geometry should be injected only where reliable and attended to only where needed. GeoHAT employs a lightweight Fourier spatial encoder that maps dense per-pixel 3D coordinates into geometric tokens without an additional 3D vision backbone. These tokens are then selectively injected into vision foundation model features through per-token gated fusion modulated by depth validity, preserving the semantic prior while enriching spatial understanding. For action generation, a Hybrid Whole-Body Action Decoder decomposes arm and base into distinct subspaces and lets each action modality attend to its task-relevant visual context through sparse cross-attention, while causal temporal modeling captures intra-timestep coordination and inter-timestep dependencies. Experiments on the ManiSkill-HAB simulation benchmark demonstrate that GeoHAT achieves a 79.3% mean success rate, surpassing the strongest baseline by 23.7%. Furthermore, real-world experiments on diverse tasks also confirm consistent improvements over all baselines.