Holistic Autonomous Driving Understanding by Bird's-Eye-View Injected Multi-Modal Large Models

📄 arXiv: 2401.00988v1 📥 PDF

作者: Xinpeng Ding, Jinahua Han, Hang Xu, Xiaodan Liang, Wei Zhang, Xiaomeng Li

分类: cs.CV

发布日期: 2024-01-02

💡 一句话要点

提出NuInstruct以解决多视角和时序信息缺失的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 自主驾驶 鸟瞰图特征 时序信息 数据集生成 复杂场景理解 智能交通

📋 核心要点

  1. 现有的多模态大语言模型在自主驾驶任务中通常忽略多视角和时序信息，导致性能不足。
  2. 本文提出了NuInstruct数据集和BEV-InMLLM方法，通过SQL生成指令-响应对，增强模型对多视角和时序信息的理解。
  3. 实验结果显示，BEV-InMLLM在多个任务上相比现有模型提升约9%，验证了其有效性。

📝 摘要（中文）

多模态大语言模型（MLLMs）的兴起激发了基于语言的驾驶任务的研究兴趣。然而，现有研究通常集中于有限的任务，且常常忽略对自主驾驶至关重要的多视角和时序信息。为了解决这些问题，本文提出了NuInstruct，一个包含91K个多视角视频问答对的全新数据集，涵盖17个子任务，每个任务都需要全面的信息（如时序、多视角和空间信息），显著提高了挑战性。我们还提出了一种基于SQL的方法来自动生成指令-响应对，灵感来源于人类的驾驶逻辑进程。此外，我们展示了BEV-InMLLM，这是一种高效提取指令感知鸟瞰图（BEV）特征的端到端方法，能够与大型语言模型对齐。实验结果表明，BEV-InMLLM在NuInstruct任务上显著优于现有的MLLMs，提升幅度约为9%。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在自主驾驶任务中对多视角和时序信息的忽视，导致模型在复杂场景下的理解能力不足。

核心思路：通过引入NuInstruct数据集和BEV-InMLLM方法，结合SQL生成指令-响应对，全面提升模型对多视角和时序信息的处理能力。

技术框架：整体架构包括数据集生成模块（使用SQL生成指令-响应对）、BEV特征提取模块（实现指令感知的鸟瞰图特征提取）以及与大型语言模型的对接模块。

关键创新：提出的BEV注入模块是一种即插即用的方法，能够有效增强现有多模态大语言模型的能力，与传统方法相比，能够更好地处理复杂的驾驶场景。

关键设计：在模型设计中，采用了特定的损失函数来优化指令理解能力，并通过多视角和时序信息的融合来提升模型的整体性能。具体的网络结构和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BEV-InMLLM在NuInstruct数据集上的表现显著优于现有的多模态大语言模型，多个任务的性能提升约为9%。这一结果验证了新方法在处理复杂驾驶任务时的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升模型对复杂场景的理解能力，能够为未来的智能驾驶技术提供更为坚实的基础，推动相关技术的实际应用和发展。

📄 摘要（原文）

The rise of multimodal large language models (MLLMs) has spurred interest in language-based driving tasks. However, existing research typically focuses on limited tasks and often omits key multi-view and temporal information which is crucial for robust autonomous driving. To bridge these gaps, we introduce NuInstruct, a novel dataset with 91K multi-view video-QA pairs across 17 subtasks, where each task demands holistic information (e.g., temporal, multi-view, and spatial), significantly elevating the challenge level. To obtain NuInstruct, we propose a novel SQL-based method to generate instruction-response pairs automatically, which is inspired by the driving logical progression of humans. We further present BEV-InMLLM, an end-to-end method for efficiently deriving instruction-aware Bird's-Eye-View (BEV) features, language-aligned for large language models. BEV-InMLLM integrates multi-view, spatial awareness, and temporal semantics to enhance MLLMs' capabilities on NuInstruct tasks. Moreover, our proposed BEV injection module is a plug-and-play method for existing MLLMs. Our experiments on NuInstruct demonstrate that BEV-InMLLM significantly outperforms existing MLLMs, e.g. around 9% improvement on various tasks. We plan to release our NuInstruct for future research development.