UNIVERSE: Unified Video Action Models for Autonomous Driving with Flexible Mask-Modulated Modality Generation

📄 arXiv: 2607.05133v1 📥 PDF

作者: Mengmeng Liu, Diankun Zhang, Jiuming Liu, Jianfeng Cui, Hongwei Xie, Guang Chen, Hangjun Ye, Francesco Nex, Hao Cheng, Michael Ying Yang

分类: cs.CV

发布日期: 2026-07-06

备注: 18 pages, 7 figures, 8 tables

💡 一句话要点

提出UNIVERSE以解决自主驾驶中的视频与动作模型融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频动作模型 自主驾驶 模态解耦 轨迹生成 未来视频预测 泛化能力 深度学习

📋 核心要点

  1. 现有方法如级联或双重DiT设计未能有效将视频建模的优势转移到轨迹生成，导致动作模型可能过拟合数据集特定的驾驶先验。
  2. UNIVERSE通过单一掩模调制扩散变换器统一视频与动作模型，允许未来视频潜变量与自我轨迹标记的共同训练，直接影响轨迹去噪过程。
  3. 实验表明，UNIVERSE在NAVSIM上达到了91.0的PDMS，相较于Two-DiT的89.6有显著提升，并在无需微调的情况下实现了对nuScenes和Bench2Drive的强大零-shot迁移。

📝 摘要（中文）

世界动作模型（WAMs）在自主驾驶中通过未来视频预测来增强动作泛化能力，但现有的级联或双重DiT设计未能有效将视频建模的优势转移到轨迹生成上。为此，本文提出UNIVERSE，一个基于单一掩模调制扩散变换器的统一视频-动作模型。通过共同训练未来视频潜变量和自我轨迹标记，UNIVERSE直接利用密集视频监督来优化轨迹去噪，提升跨领域动作泛化能力。此外，引入的模态解耦可见性掩模确保因果有效性并提高部署效率，最终实现了4.3倍的速度提升，同时保持规划准确性。实验结果表明，UNIVERSE在NAVSIM上达到了91.0的PDMS，且在nuScenes和Bench2Drive上实现了强大的零-shot迁移。

🔬 方法详解

问题定义：本文旨在解决现有自主驾驶模型中视频与动作生成的有效融合问题，现有的级联或双重DiT设计导致视频建模与轨迹生成之间的转移效果不佳。

核心思路：UNIVERSE通过构建一个统一的视频-动作模型，利用单一掩模调制扩散变换器共同训练视频潜变量和轨迹标记，从而实现密集视频监督对轨迹生成的直接影响。

技术框架：UNIVERSE的整体架构包括视频潜变量生成模块、轨迹标记生成模块和模态解耦可见性掩模，确保历史上下文在不同模态间共享，同时阻止未来视频与轨迹标记之间的相互注意。

关键创新：UNIVERSE的主要创新在于通过单一的掩模调制扩散变换器实现视频与动作模型的统一，避免了未来目标泄漏，并支持轨迹单独推理。

关键设计：在设计中，采用了模态解耦可见性掩模来确保因果有效性，并在测试时去除未来视频去噪，从而实现了4.3倍的速度提升，且保持了与联合视频-动作生成相当的规划准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UNIVERSE在NAVSIM上达到了91.0的PDMS，相较于Two-DiT的89.6有显著提升。同时，该模型在nuScenes和Bench2Drive上实现了强大的零-shot迁移，展示了其优越的泛化能力和效率，测试时速度提升达到4.3倍。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升自主驾驶系统的决策能力和泛化能力，UNIVERSE能够在复杂环境中实现更安全、更高效的驾驶体验，未来可能对智能交通的普及和发展产生深远影响。

📄 摘要（原文）

World Action Models (WAMs) have shown strong potential for improving action generalization in autonomous driving by using future video prediction as dense supervision for scene dynamics and temporal causality. However, it remains unclear which architecture better transfers video-modeling benefits to trajectory generation. Existing cascaded or dual-DiT designs separate video imagination from action prediction, weakening the transfer of video-learned world dynamics to the trajectory branch: the action model may still overfit dataset-specific driving priors, while the video model only indirectly regularizes planning. We propose UNIVERSE, a unified video-action model built upon a single mask-modulated Diffusion Transformer. By co-training future video latents and ego-trajectory tokens within shared generative parameters, UNIVERSE allows dense video supervision to directly shape trajectory denoising, leading to stronger cross-domain action generalization. To ensure causal validity and efficient deployment, we introduce a Modality-Decoupling Visibility Mask, which shares historical context across modalities while blocking mutual attention between future video and trajectory tokens. This prevents future-target leakage and enables trajectory-only inference by removing future-video denoising at test time, achieving a $4.3\times$ speedup over joint video-action rollout while maintaining comparable planning accuracy. The same model also supports video-only and joint video-action rollouts. Experiments show that UNIVERSE achieves 91.0 PDMS on NAVSIM (vs. 89.6 for the Two-DiT variant), and demonstrates strong zero-shot transfer to nuScenes and Bench2Drive without fine-tuning, while ablations confirm the importance of single-DiT unification, video co-training, and mask-based modality decoupling.