OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation
作者: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang
分类: cs.CV, cs.AI
发布日期: 2026-06-16
备注: 24 pages, 10 figures
💡 一句话要点
提出DRIVE-CHOREO以解决多视角驾驶视频生成中的控制注入与几何融合问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多视角视频生成 大型语言模型 自主驾驶 几何一致性 生成模型 跨视角融合 潜在编排
📋 核心要点
- 现有的生成世界模型在控制注入和几何融合方面存在显著不足，导致多视角视频生成效果不佳。
- 本文提出的DRIVE-CHOREO通过引入LLM协调的多代理系统，重新定义了多视角视频生成的过程，提升了控制的灵活性和几何一致性。
- 实验结果显示，DRIVE-CHOREO在多视角一致性和BEV mAP上达到了新的最优水平，且合成数据在真实场景中也表现出显著提升。
📝 摘要（中文）
自主驾驶的生成世界模型面临两个未解决的矛盾：异构控制注入和后处理跨视角融合。前者是由于自由形式语言、高精度地图、轨迹和相机姿态在不兼容的表示空间中共存，后者则是每个相机的潜在表示未能编码全局三维几何。本文提出DRIVE-CHOREO，一个由大型语言模型（LLM）协调的多代理世界模型，将可控的多视角视频生成重新构建为潜在编排。通过三个Qwen2.5-VL代理共同生成一个位置感知的标记序列，本文在nuScenes数据集上实现了新的多视角一致性和BEV mAP（21.6），并在真实验证集上验证了下游应用的有效性。
🔬 方法详解
问题定义：本文旨在解决多视角驾驶视频生成中的异构控制注入和后处理跨视角融合问题。现有方法在处理自由形式语言、高精度地图和相机姿态时存在表示空间不兼容的问题，导致生成效果不理想。
核心思路：DRIVE-CHOREO通过引入大型语言模型（LLM）协调的多代理系统，将可控的多视角视频生成视为潜在编排，旨在实现语言、几何和像素之间的统一表示。
技术框架：该方法包括三个主要模块：导演（Director）解析用户意图并生成结构化的WorldScript，制图师（Cartographer）将其转化为空间锚定的布局标记，审计师（Auditor）则提供跨视角的反馈作为辅助监督。这些模块共同生成一个位置感知的标记序列，并通过视图时间置换与多视角视频共同压缩。
关键创新：最重要的创新在于引入了LLM协调的多代理系统，使得生成过程中的控制注入和几何融合得以有效解决。这种方法与传统的单一模型生成方式有本质区别。
关键设计：在技术细节上，采用了3D变分自编码器（VAE）来确保卷积接收场内的跨相机几何一致性，同时设计了特定的损失函数来优化生成效果。
🖼️ 关键图片
📊 实验亮点
在nuScenes数据集上，DRIVE-CHOREO实现了新的多视角一致性和BEV mAP（21.6），并在FVD（45.7）上表现出竞争力。通过在合成数据上训练的检测器在真实验证集上提升了+2.4 NDS，验证了其下游应用的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够为多视角视频生成提供更高的灵活性和一致性，具有重要的实际价值。未来，该方法可能推动更复杂的场景理解和交互式应用的发展。
📄 摘要（原文）
Generative world models for autonomous driving face two unresolved tensions: heterogeneous control injection, where free-form language, HD-maps, trajectories, and camera poses reside in incompatible representational spaces, and post-hoc cross-view fusion, where per-camera latents fail to encode global 3-D geometry. We trace both to a single root cause: the absence of a shared symbolic interlingua aligning language, geometry, and pixels at the latent-token level. We present DRIVE-CHOREO, an LLM-choreographed multi-agent world model that recasts controllable multi-view video generation as latent choreography. Three Qwen2.5-VL agents - a Director parsing user intent into a structured WorldScript, a Cartographer grounding it into spatially-anchored layout tokens, and an Auditor feeding cross-view critiques back as auxiliary supervision - jointly author a single position-aware token sequence. This sequence is co-compressed with the multi-view video via a view-time permutation that enforces inter-camera geometry within the convolutional receptive field of a 3-D VAE. On nuScenes, DRIVE-CHOREO sets new state-of-the-art multi-view consistency and BEV mAP (21.6) with competitive FVD (45.7); a detector trained purely on our synthetic data gains +2.4 NDS on the real validation split, validating downstream utility.