LADBench: A Benchmark for Logical Fault Detection in Images
作者: Sahasra Kondapalli, Lara Radovanovic, Aadi Palnitkar, Mingyang Mao, Xiaomin Lin
分类: cs.CV
发布日期: 2026-06-16
备注: Accepted to the IEEE International Conference on Development and Learning (ICDL 2026)
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出LADBench以解决视觉模型的逻辑故障检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 逻辑故障检测 视觉语言模型 多模态推理 分层提示 合成图像
📋 核心要点
- 现有方法在逻辑故障检测方面存在不足，尤其是在开放世界场景中缺乏物理和社会常识的支持。
- 本文提出LADBench基准和分层提示协议，旨在评估视觉模型在逻辑推理中的能力和需求。
- 实验结果显示，即使是最佳模型的准确率仅为70.11%，表明隐式逻辑故障检测仍然是一个未解决的问题。
📝 摘要（中文）
大型视觉语言模型（VLMs）在视觉问答和语义基础上表现出色，但其自主逻辑推理能力尚未得到充分探索。现有的异常基准主要强调视觉错误或直接提示，而忽视了开放世界部署所需的物理和社会常识。为此，本文引入LADBench，一个包含1000多个经过精心策划的合成图像的基准，涵盖住宅、城市、协作和自然四个领域的逻辑异常。我们还提出了一种基于渐进披露的分层提示协议，以测量模型在定位和推理逻辑故障时所需的明确帮助程度。对领先基础模型的评估显示出显著的弱点，最佳模型的整体准确率仅为70.11%，表明隐式逻辑故障检测仍未解决。
🔬 方法详解
问题定义：本文旨在解决大型视觉语言模型在逻辑故障检测中的不足，现有方法主要关注视觉错误，而忽视了逻辑推理的复杂性和开放世界的需求。
核心思路：提出LADBench基准，通过提供包含逻辑异常的合成图像，结合分层提示协议，评估模型在逻辑推理中的能力和需求。这样的设计可以更好地理解模型在复杂场景下的表现。
技术框架：LADBench的整体架构包括图像数据集的构建、分层提示协议的设计和模型评估三个主要模块。数据集涵盖多个领域，提示协议则通过不同层级的提示来引导模型进行逻辑推理。
关键创新：LADBench的最大创新在于其分层提示协议，能够系统性地评估模型在逻辑故障检测中的需求和能力。这与现有方法的直接提示或单一评估方式有本质区别。
关键设计：在数据集构建中，采用了超过1000张合成图像，涵盖四个领域的逻辑异常；在提示协议中，设计了多层次的提示机制，以逐步引导模型进行推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前最好的模型在LADBench基准上的整体准确率仅为70.11%，显示出在隐式逻辑故障检测方面的显著不足。即使在提供明确提示的情况下，模型仍然难以识别逻辑异常，揭示了多模态推理中的关键限制。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控和人机交互等场景，能够提升视觉系统在复杂环境中的安全性和可靠性。未来，LADBench可能成为评估和改进视觉模型逻辑推理能力的重要基准，推动相关技术的发展。
📄 摘要（原文）
Large Vision Language Models (VLMs) excel at visual question answering and semantic grounding, but their capacity for autonomous logical reasoning remains underexplored. Existing anomaly benchmarks emphasize visual errors or direct prompting rather than the physical and social common sense needed for open-world deployment. To address this, we introduce LAD-bench, a benchmark of more than 1,000 curated synthetic images with logical anomalies across four domains: Residential, Urban, Collaborative, and Nature. We further propose a Tiered Prompting Protocol based on progressive disclosure, which measures how much explicit assistance a model needs to localize and reason about a logical fault. Evaluating leading foundation models reveals substantial weaknesses: even the best achieves only 70.11% overall accuracy, showing that implicit logical fault detection remains unsolved. Crucially, models often fail to identify anomalies even after receiving explicit hints in deeper tiers. By surfacing these limitations in sequential multimodal reasoning, LAD-Bench offers a rigorous framework for advancing the safety, reliability, and cognitive alignment of autonomous visual systems. Dataset and Code: https://huggingface.co/datasets/SahasraK/LADBench