DriveUniTok: A Unified Multimodal Tokenizer for Driving World-Action Models

📄 arXiv: 2610.35044v1 📥 PDF

作者: Jingbo Xu, Hanchao Leng, JiaHui Huang, Hanbing Li, Jingwei Zhao, Kuiyuan Yang, Chen Gao, Guang Chen, Hangjun Ye, Yong Li

分类: cs.CV, cs.RO

发布日期: 2026-10-26

备注: 31 pages, 16 figures, 8 tables, including appendices

💡 一句话要点

提出DriveUniTok以解决多模态世界状态建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态标记器 世界模型 自动驾驶 信息整合 深度学习

📋 核心要点

  1. 现有方法在建模外观、LiDAR深度和自我运动时存在信息损失和跨模态不一致的问题，限制了性能。
  2. 本文提出DriveUniTok，一个统一的多模态标记器，将不同模态编码为单一的连续潜在表示，提升信息利用效率。
  3. 在NAVSIM实验中，DriveUniWAM通过强化学习后训练，达到了91.54的PDMS，表现优于现有的WAM规划器。

📝 摘要（中文）

世界模型作为政策学习的基础组件，帮助代理预测未来状态并规划行动。然而，现有方法往往独立或部分建模外观、投影LiDAR深度和自我运动，导致信息损失和跨模态不一致。为此，本文提出DriveUniTok，一个统一的多模态标记器，能够将这些模态编码为单一可解码的连续潜在表示。通过冻结DriveUniTok并适配预训练的扩散模型DriveUniWAM，预测未来的统一潜在表示，进而解码为未来的外观、投影LiDAR深度和自我轨迹。实验结果表明，该设计在NAVSIM上实现了更好的未来预测和规划性能，同时降低了计算成本。

🔬 方法详解

问题定义：本文旨在解决现有多模态世界模型在信息整合上的不足，尤其是外观、LiDAR深度和自我运动的独立建模导致的信息损失和不一致性问题。

核心思路：提出DriveUniTok，通过统一的多模态标记器将不同模态编码为单一的连续潜在表示，进而提升信息的整合与利用效率。

技术框架：整体架构包括DriveUniTok标记器和DriveUniWAM扩散模型。DriveUniTok负责将多模态信息编码为潜在表示，而DriveUniWAM则预测未来的统一潜在表示并解码为具体模态。

关键创新：DriveUniTok的最大创新在于其统一的编码方式，能够有效整合不同模态的信息，避免了传统方法中的信息损失和不一致性。

关键设计：在设计中，DriveUniTok的参数设置和损失函数经过精心调整，以确保不同模态的有效融合，网络结构则采用了适合多模态输入的深度学习架构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NAVSIM实验中，DriveUniWAM通过强化学习后训练，达到了91.54的PDMS，显著优于其他基线方法，展示了DriveUniTok在未来预测和规划性能上的优势，同时降低了计算成本。

🎯 应用场景

该研究在自动驾驶、机器人导航和智能交通系统等领域具有广泛的应用潜力。通过更有效的多模态信息整合，DriveUniTok能够提升智能代理在复杂动态环境中的决策能力和执行效率，推动智能交通技术的发展。

📄 摘要（原文）

World models are emerging as a fundamental component of policy learning for real-world agents, enabling agents to predict future world states and plan actions within a learned representation of the dynamic environment. Existing approaches, however, often model appearance, metric geometry represented by projected LiDAR depth, and ego motion either partially or independently, overlooking the fact that these modalities are different projections of a shared underlying world state. This separation can lead to information loss and cross-modal inconsistency, ultimately limiting downstream performance. Motivated by this unified view of the world, we propose DriveUniTok, a unified multimodal tokenizer for driving world-action models (WAMs) that encodes these modalities in a single decodable continuous latent. We freeze DriveUniTok and adapt a pretrained diffusion model, DriveUniWAM, to predict future unified latents; the tokenizer then decodes them into future appearance, projected LiDAR depth, and ego trajectories. Experiments on NAVSIM demonstrate that our unified design achieves better future prediction and planning performance at lower downstream computational cost than separate-stream alternatives. With reinforcement learning post-training, DriveUniWAM achieves a PDMS of 91.54, reaching state-of-the-art performance among the evaluated WAM-based planners.