Let LiDAR Decide Where to Look: Geometry-Measured Token Selection for Efficient Sparse Latent World Models

📄 arXiv: 2610.40935v1 📥 PDF

作者: Zeping Zhang, Zhuoya Zhao, Robert Laganière

分类: cs.CV

发布日期: 2026-10-29

💡 一句话要点

提出几何感知令牌选择以提升稀疏潜在世界模型的效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 几何感知 令牌选择 自监督学习 计算效率 深度学习

📋 核心要点

  1. 现有的视觉驱动自动驾驶模型在处理图像令牌时效率低下，许多令牌内容与驾驶规划无关，导致注意力分散。
  2. 本文提出几何感知令牌选择（GATS），通过LiDAR和雷达点投影选择关键图像令牌，从而提高计算效率。
  3. 在多个实验中，GATS在资源预算极低的情况下仍能超越密集模型，显著降低计算量并提高安全性。

📝 摘要（中文）

现有的以视觉为中心的自动驾驶模型每帧编码成千上万的图像令牌，但大多数内容与规划无关，导致规划器的注意力分散。本文提出几何感知令牌选择（GATS），利用LiDAR和雷达点投影在视觉骨干网络运行前选择少量图像令牌。该方法通过仅编码选定的补丁，减少了高达18倍的计算量。在25%的预算下，GATS在nuScenes上实现了0.520米的L2位移误差，超越了密集模型，同时在极端10%预算下仍然表现优异。

🔬 方法详解

问题定义：现有的视觉驱动自动驾驶模型在处理图像令牌时，往往会编码大量与驾驶无关的内容，导致计算资源浪费和注意力分散。

核心思路：本文提出的几何感知令牌选择（GATS）方法，通过利用LiDAR和雷达数据的3D几何信息，选择出与驾驶相关的少量图像令牌，从而提高模型的计算效率和准确性。

技术框架：GATS的整体架构包括令牌选择模块和自监督潜在世界模型。令牌选择模块在视觉骨干网络之前运行，依据3D几何信息选择重要的图像补丁。自监督模型则基于选定的令牌进行未来特征和3D位移的预测。

关键创新：GATS的创新之处在于其基于3D几何信息进行令牌选择，而非传统的视觉特征，从而显著减少了计算量，提升了模型的效率。

关键设计：在GATS中，选定的每个令牌都与其对应的LiDAR点关联，并通过自监督学习进行训练，损失函数设计为预测未来的特征和位移，确保模型的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在25%的资源预算下，GATS在nuScenes上实现了0.520米的L2位移误差，超越了密集模型的0.573米，同时在10%预算下仍保持竞争力，显示出高达18倍的计算量减少，且在739个关键场景中实现了95.8%的危险车辆覆盖率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提高模型的计算效率和安全性，GATS能够在复杂环境中更好地支持实时决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-centric autonomous driving models encode thousands of image tokens per frame, yet most depict sky, buildings, or empty road---content irrelevant to planning. Worse, these tokens dilute the planner's attention: we show that randomly discarding 75% of tokens already outperforms the dense model, because the planner can concentrate on the remaining driving-critical content. Building on this finding, we present Geometry-Aware Token Selection (GATS), which uses LiDAR and radar point projections to select a small fraction of image tokens before the vision backbone runs. Because the selector operates on measured 3D geometry rather than visual features, the backbone encodes only the selected patches, cutting end-to-end FLOPs by up to $18\times$. Each kept token receives a 3D anchor from its LiDAR point and is fed to a self-supervised latent world model that predicts future features and 3D displacements without box annotations. At 25% budget, GATS achieves a 3-sec L2 displacement error of 0.520 m on nuScenes and an EPDMS of 88.9 on NAVSIM---surpassing the dense baseline (0.573 m / 85.9) at $6.6\times$ fewer total FLOPs. At an extreme 10% budget (24 GFLOPs, $18\times$ reduction), it still beats the dense baseline on both nuScenes (0.537 m vs. 0.573 m L2) and NAVSIM (87.9 vs. 85.9 EPDMS). On 739 intent-critical scenarios, GATS covers 95.8% of hazardous vehicles and achieves a 0.09% collision rate---73.5% lower than the dense model (0.34%).