Geometric Action Model for Robot Policy Learning
作者: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-06-15
备注: Project page: https://cvlab-kaist.github.io/Geometric-Action-Model/
💡 一句话要点
提出几何动作模型以解决机器人政策学习中的3D几何问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何动作模型 机器人政策学习 3D几何 语言条件建模 操作政策 智能机器人 自动化
📋 核心要点
- 现有的视觉-语言-动作模型在处理3D几何时存在局限，无法有效支持接触丰富的操作。
- 提出几何动作模型（GAM），通过重用预训练的几何基础模型，结合语言条件进行操作政策学习。
- 在多项仿真和真实机器人操作基准测试中，GAM在准确性、鲁棒性、速度和轻量性上均优于现有基线。
📝 摘要（中文）
通用机器人政策必须遵循用户指令，同时推理对象、相机和机器人动作在3D物理世界中的相互作用。尽管现有的视觉-语言-动作模型和视频世界-动作模型从大规模基础模型中继承了强大的语义或时间先验，但它们主要在2D图像帧或2D派生的潜在空间中操作，未能显式考虑接触丰富的操作所需的3D几何。本文提出了几何动作模型（GAM），这是一种基于语言的操作政策，直接重用预训练的几何基础模型（GFM），作为感知、时间预测和动作解码的共享基础。GAM在中间层对GFM进行分割，浅层作为观察编码器，插入的因果未来预测器基于语言、运动感知和动作历史预测未来潜在标记。预测的未来标记通过剩余的GFM模块进行特征传播和解码，使单一主干能够同时生成未来几何和动作。该设计通过最小的架构修改为GFM提供了基于语言的时间世界建模，同时保留其丰富的几何先验。
🔬 方法详解
问题定义：本文旨在解决现有机器人政策学习方法在3D几何推理方面的不足，特别是在接触丰富的操作中，现有方法主要依赖于2D图像处理，未能充分利用3D几何信息。
核心思路：提出几何动作模型（GAM），通过将预训练的几何基础模型（GFM）作为共享基础，结合语言条件进行操作政策学习，从而实现对3D几何的有效建模。
技术框架：GAM的整体架构包括观察编码器、因果未来预测器和特征传播模块。观察编码器处理输入信息，未来预测器基于语言和历史信息预测未来状态，最后通过GFM的剩余模块进行特征解码。
关键创新：GAM的核心创新在于通过最小的架构修改实现了语言条件的时间世界建模，同时保留了GFM的几何先验。这一设计使得模型能够同时生成未来几何和动作，提升了操作的灵活性和准确性。
关键设计：在模型设计中，GAM对GFM进行了中间层分割，浅层用于观察编码，因果预测器用于未来状态预测，确保了信息流的有效传递和处理。
🖼️ 关键图片
📊 实验亮点
在多项仿真和真实机器人操作基准测试中，GAM的表现显著优于现有的基础模型，具体表现为准确性提高了XX%，鲁棒性增强，处理速度加快，模型体积减小，展现出更高的效率和实用性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造、家庭服务机器人等。通过提升机器人在复杂环境中的操作能力，GAM能够在实际应用中提高机器人对用户指令的响应能力和操作精度，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Generalist robot policies must follow user instructions while reasoning about how objects, cameras, and robot actions interact in the 3D physical world. Recent vision-language-action models (VLAs) and video world-action models (WAMs) inherit strong semantic or temporal priors from large-scale foundation models, but they still operate primarily on 2D image frames or 2D-derived latent spaces, leaving implicit the 3D geometry required for contact-rich manipulation. We propose the Geometric Action Model (GAM), a language-conditioned manipulation policy that directly repurposes a pretrained geometric foundation model (GFM) as a shared substrate for perception, temporal prediction, and action decoding. GAM splits the GFM at an intermediate layer: the shallow layers serve as an observation encoder, and a causal future predictor inserted at the split layer forecasts future latent tokens conditioned on language, proprioception, and action history. The predicted future tokens are then routed through the remaining GFM blocks for feature propagation and decoding, allowing a single backbone to produce both future geometry and actions. This design equips the GFM with language-conditioned temporal world modeling through minimal architectural modification while preserving its rich geometric priors. Across a broad suite of simulation and real-robot manipulation benchmarks, GAM is more accurate, more robust, faster, and lighter than current foundation-model-scale baselines.