GeoWAM: Visual Geometry World Action Models for Autonomous Driving

📄 arXiv: 2608.23486v1 📥 PDF

作者: Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

分类: cs.CV, cs.RO

发布日期: 2026-08-24

💡 一句话要点

提出GeoWAM以解决自主驾驶中的场景动态建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 自主驾驶 几何建模 场景动态 点云处理 未来预测 驾驶策略

📋 核心要点

  1. 现有的世界动作模型在像素空间中学习场景动态，导致几何和运动信息被混合，影响模型的推理能力。
  2. GeoWAM通过直接预测未来场景几何，利用点云表示几何信息，从而更自然地捕捉空间结构和场景演变。
  3. 实验结果表明，GeoWAM在开放和闭环评估中均显著优于图像基础的替代方案，证明了未来几何预测的有效性。

📝 摘要（中文）

世界动作模型（WAMs）近年来受到越来越多的关注，作为一种联合建模场景演变和自我动作的框架。现有WAMs主要通过视频生成网络在像素空间中学习场景动态，但像素仅间接表示这些动态，导致模型需要从二维观察中推断三维变换。本文提出GeoWAM，一种视觉几何世界动作模型，直接预测未来场景几何，提供更自然的状态空间。GeoWAM通过几何条件的动作头利用学习到的几何动态来预测未来的自我轨迹，实验表明其在驾驶策略上显著优于基于图像的方法。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在像素空间中学习场景动态的不足，像素表示无法有效捕捉三维变换和空间结构。

核心思路：GeoWAM的核心思路是使用点云直接预测未来场景几何，从而提供更自然的状态空间，避免了从二维图像推断三维信息的复杂性。

技术框架：GeoWAM的整体架构包括一个几何预测模块和一个几何条件的动作头。几何预测模块负责生成未来场景的几何表示，而动作头则基于这些几何信息预测自我轨迹。

关键创新：GeoWAM的主要创新在于将几何信息作为状态空间进行建模，直接对未来场景进行几何预测，而不是依赖于图像生成，这一设计显著提高了模型的推理能力。

关键设计：在模型设计中，采用了特定的损失函数来优化几何预测的准确性，并在网络结构中引入了点云处理模块，以有效捕捉空间结构和动态变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GeoWAM在开放环节和闭环评估中均表现出色，相较于传统的图像基础方法，其驾驶策略的性能提升幅度达到显著水平，具体数据未在摘要中提供，需参考原文获取。

🎯 应用场景

GeoWAM的研究成果在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统对复杂场景的理解和决策能力。通过更准确的场景动态建模，未来的自动驾驶车辆可以在更复杂的环境中安全高效地运行，推动智能交通的发展。

📄 摘要（原文）

World action models (WAMs) have recently gained increasing attention as a framework for jointly modeling scene evolution and ego actions in autonomous driving. Most existing WAMs learn scene dynamics in pixel space by combining a video-generation backbone for future-observation prediction with an action head for ego-trajectory prediction. Pixels, however, provide only an indirect representation of these dynamics: they entangle geometry and motion with appearance, texture, and illumination, forcing the model to infer three-dimensional transformations from two-dimensional observations. We argue that geometry, represented by point clouds, offers a more natural state space for driving because it explicitly captures spatial structure and the rigid and non-rigid transformations that govern scene evolution while directly aligning with the space in which driving actions are executed. Building on this insight, we introduce \textbf{GeoWAM}, a visual geometry world action model for autonomous driving. Rather than predicting future images, GeoWAM is pretrained to forecast future scene geometry, yielding representations that jointly encode spatial structure and temporal evolution. A geometry-conditioned action head then leverages these learned geometric dynamics to predict future ego trajectories. Extensive open-loop and closed-loop evaluations show that visual geometry world modeling yields substantially stronger driving policies than image-based alternatives, establishing future-geometry prediction as an effective pretraining objective for autonomous driving.