Search-based Testing of Vision Language Models for In-Car Scene Understanding

📄 arXiv: 2607.02300 📥 PDF

作者: Lev Sorokin, Chen Yang, Ken E. Friedl, Andrea Stocco

分类: cs.CV, cs.SE

发布日期: 2026-07-05

💡 一句话要点

提出ISU-Test以解决车内场景理解测试问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 车内场景理解 视觉语言模型 自动化测试 渲染技术 搜索算法 智能汽车 安全系统

📋 核心要点

  1. 现有方法在测试视觉语言模型时面临数据收集成本高、难以扩展等挑战，尤其是在设计早期阶段。
  2. ISU-Test通过将测试视为优化问题，结合渲染场景生成与搜索方法，系统性地修改场景参数以生成多样化场景。
  3. 实验结果显示，ISU-Test在两个案例研究中显著优于随机场景生成，失败率和覆盖率均有显著提升。

📝 摘要（中文）

在汽车领域，车内场景理解（ISU）能够检测安全关键事件，如驾驶员分心，并通过分析车内场景来支持驾驶员或乘客。随着行业对视觉语言模型（VLMs）的探索，如何系统性地测试这些模型显得尤为重要。本文提出了ISU-Test，这是一种结合渲染场景生成与基于搜索的测试方法，旨在评估ISU系统。通过将测试框架化为优化问题，ISU-Test能够生成多样化的车内场景并探索广泛的配置。实验结果表明，ISU-Test在工业原型和开源VLMs上的表现显著优于基线，失败率提高了10倍，失败覆盖率提高了3.6倍。

🔬 方法详解

问题定义：本文旨在解决当前视觉语言模型在车内场景理解测试中的不足，尤其是生成不完整或错误的场景描述的问题。现有方法在收集真实车内数据时成本高且难以扩展，限制了测试的有效性。

核心思路：ISU-Test的核心思路是将测试过程视为一个优化问题，通过系统性地修改场景参数来生成多样化的车内场景，从而全面评估ISU系统的性能。

技术框架：ISU-Test的整体架构包括场景生成模块和测试评估模块。首先，通过渲染技术生成不同的车内场景，然后应用搜索算法优化场景参数，最后对生成的场景进行测试和评估。

关键创新：ISU-Test的主要创新在于将测试过程系统化，并结合渲染与搜索技术，显著提高了测试的全面性和有效性。这一方法与传统的随机场景生成方法相比，能够更好地覆盖潜在的失败场景。

关键设计：在ISU-Test中，关键参数设置包括场景参数的范围和修改策略，损失函数设计用于评估模型输出的准确性，网络结构则基于现有的视觉语言模型进行优化，以适应车内场景的特殊需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ISU-Test在两个案例研究中表现出色，成功实现了比基线方法高出10倍的失败率和3.6倍的失败覆盖率，证明了其在车内场景理解测试中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能汽车的安全系统、驾驶辅助系统以及车内环境自适应技术。通过提高车内场景理解的准确性，ISU-Test能够帮助开发更安全的自动驾驶系统和提升乘客体验，未来可能对智能交通系统的发展产生深远影响。

📄 摘要（原文）

In the automotive domain, in-car scene understanding (ISU) enables the detection of safety-critical events, such as driver distraction, and supports drivers or passengers by analyzing the in-car scene and adapting the environment (e.g., ambient lighting). The industry is increasingly exploring vision-language models (VLMs) to interpret camera-recorded in-car scenes and extract information for downstream reasoning tasks. However, VLMs may generate incomplete, erroneous, or misleading scene descriptions, highlighting the need for systematic testing. Collecting real in-vehicle data is costly, difficult to scale, and often infeasible, particularly in early design stages. In this paper, we present ISU-Test, an automated testing approach that combines rendering-based scene generation with search-based testing to evaluate ISU systems. By framing testing as an optimization problem and systematically modifying scene parameters, our method generates diverse in-car scenarios and explores a wide range of configurations. We evaluate ISU-Test on both an industrial prototype and open-source VLMs across two case studies: question answering and captioning, comparing against randomized scenario generation. Results show that ISU-Test significantly outperforms the baseline, achieving up to 10 times higher failure rates and up to 3.6 times higher failure coverage.