Search-based Testing of Vision Language Models for In-Car Scene Understanding

📄 arXiv: 2607.02300v1 📥 PDF

作者: Lev Sorokin, Chen Yang, Ken E. Friedl, Andrea Stocco

分类: cs.CV, cs.SE

发布日期: 2026-07-02

备注: Accepted at the Industry Track of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

💡 一句话要点

提出ISU-Test以解决汽车场景理解中的测试问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 车内场景理解 自动化测试 场景生成 优化算法 安全驾驶 人机交互

📋 核心要点

  1. 现有的视觉语言模型在生成车内场景描述时可能存在不完整、错误或误导性的问题，亟需系统化的测试方法。
  2. ISU-Test通过将测试视为优化问题，结合渲染场景生成与搜索测试，能够生成多样化的车内场景进行评估。
  3. 实验结果表明，ISU-Test在两个案例研究中显著优于随机场景生成，失败率和覆盖率均有显著提升。

📝 摘要（中文）

在汽车领域，车内场景理解（ISU）能够检测安全关键事件，如驾驶员分心，并通过分析车内场景来支持驾驶员或乘客。随着行业对视觉语言模型（VLMs）的探索，如何系统性地测试这些模型变得尤为重要。本文提出了ISU-Test，一种结合基于渲染的场景生成与基于搜索的测试方法，用于评估ISU系统。通过将测试框架化为优化问题，系统性地修改场景参数，生成多样化的车内场景并探索广泛的配置。我们在工业原型和开源VLMs上对ISU-Test进行了评估，结果显示其显著优于基线，失败率最高提升10倍，失败覆盖率提升至3.6倍。

🔬 方法详解

问题定义：本文旨在解决汽车场景理解（ISU）系统测试中的不足，现有方法在收集真实数据时成本高、难以扩展，尤其在早期设计阶段更为困难。

核心思路：ISU-Test通过将测试过程视为一个优化问题，系统性地修改场景参数，生成多样化的车内场景，从而有效评估ISU系统的性能。

技术框架：ISU-Test的整体架构包括两个主要模块：基于渲染的场景生成模块和基于搜索的测试模块。前者负责生成多样化的场景，后者则通过优化算法评估这些场景下的ISU系统表现。

关键创新：ISU-Test的核心创新在于将测试过程优化与场景生成相结合，能够在不依赖真实数据的情况下，系统性地评估VLMs的性能，这与传统的随机场景生成方法有本质区别。

关键设计：在设计中，ISU-Test采用了特定的参数设置以确保场景的多样性，并使用了适应性损失函数来优化测试效果，确保生成的场景能够覆盖广泛的配置空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ISU-Test在两个案例研究中表现出色，失败率最高提升了10倍，失败覆盖率提升至3.6倍，显著优于传统的随机场景生成方法，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括汽车安全系统、自动驾驶技术以及人机交互界面等。通过提高ISU系统的测试效率和准确性，ISU-Test能够为汽车行业提供更安全的驾驶环境，并推动智能驾驶技术的发展。

📄 摘要（原文）

In the automotive domain, in-car scene understanding (ISU) enables the detection of safety-critical events, such as driver distraction, and supports drivers or passengers by analyzing the in-car scene and adapting the environment (e.g., ambient lighting). The industry is increasingly exploring vision-language models (VLMs) to interpret camera-recorded in-car scenes and extract information for downstream reasoning tasks. However, VLMs may generate incomplete, erroneous, or misleading scene descriptions, highlighting the need for systematic testing. Collecting real in-vehicle data is costly, difficult to scale, and often infeasible, particularly in early design stages. In this paper, we present ISU-Test, an automated testing approach that combines rendering-based scene generation with search-based testing to evaluate ISU systems. By framing testing as an optimization problem and systematically modifying scene parameters, our method generates diverse in-car scenarios and explores a wide range of configurations. We evaluate ISU-Test on both an industrial prototype and open-source VLMs across two case studies: question answering and captioning, comparing against randomized scenario generation. Results show that ISU-Test significantly outperforms the baseline, achieving up to 10 times higher failure rates and up to 3.6 times higher failure coverage.