GeoHAT: Geometry-Adaptive Hybrid Action Transformer for Mobile Manipulation

📄 arXiv: 2606.13394 📥 PDF

作者: Xiangyu Zhu, Renjun Wu, Luzhou Ge, Jinyan Liu, Xuesong Li

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出GeoHAT以解决移动操控中的几何感知与动作生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 几何感知 动作生成 深度学习 机器人技术 视觉融合 稀疏注意力 傅里叶编码

📋 核心要点

  1. 现有方法通常依赖于2D特征或稀疏3D表示，无法有效处理全身移动操控中的几何感知与动作生成问题。
  2. GeoHAT通过轻量级傅里叶空间编码器将3D坐标映射为几何标记，并通过门控融合与视觉特征结合，提升空间理解能力。
  3. 在ManiSkill-HAB仿真基准上，GeoHAT实现了79.3%的平均成功率，超越最强基线23.7%，并在真实场景中也表现出一致的改进。

📝 摘要（中文）

全身移动操控需要在不断变化的视角下协调移动底座和操控器，这对几何感知和动作生成提出了挑战。现有策略通常依赖于2D特征或稀疏的3D表示，缺乏密集的空间结构，并且通常将手臂和底座编码在同一个动作向量中，忽视了它们的不同控制需求。此外，现有的密集融合策略在噪声深度下可能会破坏预训练表示，并且计算开销较大。本文提出了GeoHAT，一个基于扩散的端到端框架，其核心原则是几何信息应仅在可靠的地方注入，并在需要的地方进行关注。GeoHAT采用轻量级的傅里叶空间编码器，将每个像素的3D坐标映射为几何标记，并通过深度有效性调制的每个标记门控融合将其选择性注入视觉基础模型特征中，从而在丰富空间理解的同时保留语义先验。

🔬 方法详解

问题定义：本文旨在解决全身移动操控中几何感知与动作生成的挑战，现有方法在处理视角变化时存在依赖2D特征或稀疏3D表示的不足，且未能有效区分手臂与底座的控制需求。

核心思路：GeoHAT的核心思路是将几何信息仅在可靠的地方注入，并在需要的地方进行关注，采用轻量级傅里叶空间编码器来映射3D坐标，避免了对额外3D视觉骨干网的依赖。

技术框架：GeoHAT的整体架构包括傅里叶空间编码器、门控融合模块和混合全身动作解码器。傅里叶空间编码器将每个像素的3D坐标转换为几何标记，门控融合模块根据深度有效性选择性注入视觉特征，而混合全身动作解码器则将手臂和底座分解为不同的子空间。

关键创新：GeoHAT的主要创新在于其轻量级的傅里叶空间编码器和基于深度有效性的门控融合策略，这与现有方法在处理噪声深度时的高计算开销和潜在的表示破坏形成鲜明对比。

关键设计：在设计中，GeoHAT采用了稀疏交叉注意力机制来让每种动作模态关注其任务相关的视觉上下文，同时通过因果时间建模捕捉时间步内的协调性和时间步间的依赖性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoHAT在ManiSkill-HAB仿真基准上取得了79.3%的平均成功率，超越了最强基线23.7%。此外，在多样化的真实任务中，GeoHAT也展现出对所有基线的一致性改进，验证了其在实际应用中的有效性。

🎯 应用场景

GeoHAT在移动操控领域具有广泛的应用潜力，尤其是在服务机器人、自动化仓储和智能制造等场景中。其高效的几何感知与动作生成能力能够显著提升机器人在复杂环境中的操作效率和灵活性，未来可能推动更多智能机器人技术的商业化应用。

📄 摘要（原文）

Whole-body mobile manipulation requires coordinating mobile base and manipulator under shifting viewpoints, posing challenges in geometric perception and action generation. Current policies either rely on 2D features or sparse 3D representations that lack dense spatial structure, and typically encode arm and base within one action vector that ignores their distinct control demands. Moreover, existing dense fusion strategies risk corrupting pretrained representations under noisy depth while incurring heavy computational overhead. We present GeoHAT, an end-to-end diffusion-based framework built on a simple principle: geometry should be injected only where reliable and attended to only where needed. GeoHAT employs a lightweight Fourier spatial encoder that maps dense per-pixel 3D coordinates into geometric tokens without an additional 3D vision backbone. These tokens are then selectively injected into vision foundation model features through per-token gated fusion modulated by depth validity, preserving the semantic prior while enriching spatial understanding. For action generation, a Hybrid Whole-Body Action Decoder decomposes arm and base into distinct subspaces and lets each action modality attend to its task-relevant visual context through sparse cross-attention, while causal temporal modeling captures intra-timestep coordination and inter-timestep dependencies. Experiments on the ManiSkill-HAB simulation benchmark demonstrate that GeoHAT achieves a 79.3% mean success rate, surpassing the strongest baseline by 23.7%. Furthermore, real-world experiments on diverse tasks also confirm consistent improvements over all baselines.