UniDrive: A Unified Vision-Language and Grounding Framework for Interpretable Risk Understanding in Autonomous Driving

📄 arXiv: 2606.24759v1 📥 PDF

作者: Xiaowei Gao, Pengxiang Li, Yitai Cheng, Ruihan Xu, James Haworth, Stephen Law, Yun Ye

分类: cs.CV, cs.AI

发布日期: 2026-06-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniDrive以解决自动驾驶中的风险理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 风险理解 多模态学习 时间推理 空间感知 可解释性 深度学习

📋 核心要点

  1. 现有方法在时间推理与空间精度之间存在权衡，导致对小型或部分遮挡危险的识别不足。
  2. UniDrive通过结合时间推理和高分辨率感知，提供了一个统一的视觉-语言框架以增强风险理解能力。
  3. 实验表明，UniDrive在小物体定位和零样本泛化方面优于现有基线，且在可解释性和可信度上表现突出。

📝 摘要（中文）

近年来，多模态大语言模型在自动驾驶场景理解中展现出强大潜力，但现有方法在时间推理与空间精度之间存在基本权衡。依赖单帧或低分辨率输入的模型常常无法捕捉到小型、远距离或部分遮挡的危险，而以语言为中心的驾驶模型则通常提供有限的有根据的解释。为了解决这一问题，本文提出了UniDrive，一个统一的视觉-语言和基础框架，用于自动驾驶中的可解释风险理解。UniDrive结合了一个时间推理分支和一个高分辨率感知分支，通过门控交叉注意力融合模块将动态上下文与精确空间证据对齐。实验结果表明，UniDrive在DRAMA-Reasoning基准上超越了代表性的图像和视频基线，尤其在小物体定位和人类评估的可解释性和可信度方面表现出明显优势。

🔬 方法详解

问题定义：本文旨在解决自动驾驶场景中对风险的可解释理解问题。现有方法在时间推理和空间精度之间存在权衡，导致对小型、远距离或部分遮挡的危险物体识别不足。

核心思路：UniDrive的核心思路是结合时间推理和高分辨率感知，通过门控交叉注意力融合模块将动态上下文与精确空间证据对齐，从而增强风险理解的准确性和可解释性。

技术框架：UniDrive的整体架构包括两个主要分支：时间推理分支用于处理多帧视觉输入，捕捉场景动态；高分辨率感知分支则从最新帧中保留细粒度的空间细节。两个分支通过门控交叉注意力模块进行融合。

关键创新：UniDrive的关键创新在于将时间语义与高分辨率感知显式结合，提供了更强的基础以支持可解释和安全导向的自动驾驶系统。这一设计与现有方法在处理动态场景时的单一视角截然不同。

关键设计：在网络结构上，UniDrive采用了门控交叉注意力机制，以确保动态信息与空间证据的有效对齐。此外，损失函数设计上考虑了风险描述的自然语言生成与风险对象的边界框输出的联合优化。

📊 实验亮点

在DRAMA-Reasoning基准上，UniDrive在风险描述和风险对象定位任务中超越了代表性的图像和视频基线，特别是在小物体定位上表现出最佳性能。此外，UniDrive在零样本泛化到NuScenes和BDD100K数据集上也显示出明显优势，且在可解释性和可信度方面获得了人类评估的高分。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的安全性提升、智能交通管理以及人机交互界面的优化。通过提供更准确的风险理解，UniDrive能够增强自动驾驶车辆在复杂环境中的决策能力，从而提高行车安全性和用户信任度。

📄 摘要（原文）

Recent multimodal large language models (MLLMs) have shown strong potential for autonomous driving scene understanding, yet existing methods still face a fundamental trade-off between temporal reasoning and spatial precision. Models that rely on single-frame or low-resolution inputs often miss small, distant, or partially occluded hazards, while language-centric driving models frequently provide limited grounded evidence for their explanations. To address this gap, we propose UniDrive, a unified visual-language and grounding framework for interpretable risk understanding in autonomous driving. UniDrive combines a temporal reasoning branch that models scene dynamics from multi-frame visual input with a high-resolution perception branch that preserves fine-grained spatial details from the latest frame. The two branches are integrated through a gated cross-attention fusion module, enabling dynamic context to be aligned with precise spatial evidence. Based on the fused representation, UniDrive jointly generates natural-language risk descriptions and grounded bounding-box outputs for risk objects. Experiments on the DRAMA-Reasoning benchmark show that UniDrive outperforms representative image-based and video-based baselines in both captioning and risk-object grounding. In particular, UniDrive achieves the best overall performance on the validation split and demonstrates clear advantages in small-object localization, zero-shot generalization to NuScenes and BDD100K, and human-rated interpretability and trustworthiness. These results suggest that explicitly combining temporal semantics and high-resolution perception provides a stronger foundation for interpretable and safety-oriented autonomous driving systems. The code is available at https://github.com/pixeli99/unidrive-dev.