Automated Evaluation of Large Vision-Language Models on Self-driving Corner Cases

📄 arXiv: 2404.10595v5 📥 PDF

作者: Kai Chen, Yanze Li, Wenhua Zhang, Yanxin Liu, Pengxiang Li, Ruiyuan Gao, Lanqing Hong, Meng Tian, Xinhai Zhao, Zhenguo Li, Dit-Yan Yeung, Huchuan Lu, Xu Jia

分类: cs.CV

发布日期: 2024-04-16 (更新: 2024-12-06)

备注: Accept by WACV 2025. Project Page: https://coda-dataset.github.io/coda-lm/

💡 一句话要点

提出CODA-LM以解决自动评估自驾角落案例的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 自动驾驶 评估基准 复杂场景分析 预标注生成 人类偏好对齐 深度学习

📋 核心要点

  1. 现有LVLM评估方法主要集中在自然场景，缺乏针对自驾角落案例的自动化评估，导致评估的局限性。
  2. 本文提出CODA-LM基准，通过分层数据结构和强大的LVLM分析复杂驾驶场景，生成高质量预标注。
  3. CODA-VLM在CODA-LM基准上超越所有开源模型，并在区域感知任务上比GPT-4V提升21.42%，展示了显著的性能提升。

📝 摘要（中文）

大型视觉-语言模型（LVLMs）在可解释自驾领域受到广泛关注。然而，现有的评估主要集中在自然场景中的多方面能力，缺乏针对自驾角落案例的自动化和量化评估。本文提出了CODA-LM，这是首个用于自动评估自驾角落案例的基准。我们采用分层数据结构，利用强大的LVLM分析复杂驾驶场景，并为人工标注者生成高质量的预标注。此外，我们发现使用文本-only的大语言模型（LLMs）作为评估者，与人类偏好的对齐度优于LVLM评估者。通过CODA-LM，我们构建了CODA-VLM，这一新型驾驶LVLM在CODA-LM上超越了所有开源对手，并在区域感知任务上比GPT-4V提升了21.42%。

🔬 方法详解

问题定义：本文旨在解决现有LVLM在自驾角落案例评估中的不足，尤其是缺乏自动化和量化评估的挑战。

核心思路：提出CODA-LM基准，通过分层数据结构和强大的LVLM分析复杂场景，生成高质量的预标注，以提高评估的效率和准确性。

技术框架：整体架构包括数据采集、分层数据结构设计、LVLM分析模块和评估模块。数据采集阶段收集复杂驾驶场景，分层结构用于组织数据，LVLM负责分析并生成预标注，评估模块则比较人类标注与模型输出。

关键创新：最重要的创新在于使用文本-only LLM作为评估者，发现其与人类偏好的对齐度优于LVLM评估者，这一发现为评估方法提供了新的视角。

关键设计：在设计中，采用了特定的损失函数以优化模型输出的质量，同时在网络结构上进行了调整，以增强模型对复杂场景的理解能力。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CODA-VLM在CODA-LM基准上超越所有开源模型，并在区域感知任务上比GPT-4V提升了21.42%。这一结果表明，CODA-VLM在处理复杂驾驶场景时具有显著的性能优势，验证了所提出方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的开发与评估，尤其是在复杂和危险的驾驶场景中。通过提供自动化的评估工具，能够提高自驾系统的安全性和可靠性，推动可解释自驾技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have received widespread attention for advancing the interpretable self-driving. Existing evaluations of LVLMs primarily focus on multi-faceted capabilities in natural circumstances, lacking automated and quantifiable assessment for self-driving, let alone the severe road corner cases. In this work, we propose CODA-LM, the very first benchmark for the automatic evaluation of LVLMs for self-driving corner cases. We adopt a hierarchical data structure and prompt powerful LVLMs to analyze complex driving scenes and generate high-quality pre-annotations for the human annotators, while for LVLM evaluation, we show that using the text-only large language models (LLMs) as judges reveals even better alignment with human preferences than the LVLM judges. Moreover, with our CODA-LM, we build CODA-VLM, a new driving LVLM surpassing all open-sourced counterparts on CODA-LM. Our CODA-VLM performs comparably with GPT-4V, even surpassing GPT-4V by +21.42% on the regional perception task. We hope CODA-LM can become the catalyst to promote interpretable self-driving empowered by LVLMs.