Unsolvable Problem Detection: Robust Understanding Evaluation for Large Multimodal Models
作者: Atsuyuki Miyai, Jingkang Yang, Jingyang Zhang, Yifei Ming, Qing Yu, Go Irie, Yixuan Li, Hai Li, Ziwei Liu, Kiyoharu Aizawa
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2024-03-29 (更新: 2025-06-09)
备注: Accepted by ACL 2025 Main Conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出UPD以评估大型多模态模型的理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 不可解问题检测 多模态模型 理解能力评估 多项选择问答 信任worthiness
📋 核心要点
- 现有的多项选择问答方法无法确保大型多模态模型真正理解答案，导致评估结果不可靠。
- 提出不可解问题检测（UPD），通过评估模型在不可解问题上的表现，验证其理解能力。
- 实验结果显示，大多数LMM在MM-UPD基准上表现不佳，揭示了模型理解能力的不同瓶颈。
📝 摘要（中文）
本文提出了一项新任务，称为“不可解问题检测（UPD）”，用于评估大型多模态模型（LMMs）的稳健理解能力。现有的多项选择问答（MCQA）方法无法确保模型真正理解答案，而UPD则通过评估模型在面对不可解问题时的表现，验证其理解能力。UPD包括三个子问题：缺失答案检测（AAD）、不兼容答案集检测（IASD）和不兼容视觉问题检测（IVQD），涵盖了缺少答案或选择不兼容以及图像与问题不匹配等不可解情况。我们引入了MM-UPD Bench作为评估基准，实验结果表明，尽管大多数LMM在现有基准上表现良好，但在MM-UPD上却显著困难，突显了当前基准未能覆盖的信任worthiness的新方面。
🔬 方法详解
问题定义：本文旨在解决大型多模态模型在多项选择问答中对不可解问题的处理能力不足的问题。现有方法未能有效评估模型是否真正理解答案，导致信任worthiness不足。
核心思路：UPD通过引入缺失答案、不兼容答案集和不兼容视觉问题等子问题，评估模型在面对不可解问题时的反应，从而验证其理解能力。这样的设计旨在揭示模型的真实理解水平，而不仅仅是表面的答题能力。
技术框架：整体架构包括三个主要模块：缺失答案检测（AAD）、不兼容答案集检测（IASD）和不兼容视觉问题检测（IVQD）。每个模块针对不同类型的不可解问题进行评估，形成全面的理解能力评估体系。
关键创新：UPD的最大创新在于其评估方法的独特性，强调模型在面对不可解问题时的反应，而非仅仅依赖于正确答案的选择。这与现有方法的本质区别在于，UPD关注的是模型的理解深度而非表面性能。
关键设计：在设计中，采用了多样化的测试集以涵盖各种不可解情况，并通过MM-UPD Bench进行系统评估。损失函数的设计考虑了模型在不同子问题上的表现，以确保全面评估其理解能力。实验中还分析了模型的思维链和自我反思能力对性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管大多数大型多模态模型在现有基准上表现良好，但在MM-UPD基准上却显著困难，表现下降幅度达到30%以上。这一发现强调了当前评估方法的局限性，并揭示了模型理解能力的不同瓶颈。
🎯 应用场景
该研究的潜在应用领域包括教育、自动问答系统和人机交互等。通过提升大型多模态模型的理解能力，能够更好地支持复杂问题的解答，增强用户体验，推动智能系统的可靠性和信任worthiness。未来，UPD方法有望成为评估多模态模型理解能力的标准工具。
📄 摘要（原文）
This paper introduces a novel task to evaluate the robust understanding capability of Large Multimodal Models (LMMs), termed $\textbf{Unsolvable Problem Detection (UPD)}$. Multiple-choice question answering (MCQA) is widely used to assess the understanding capability of LMMs, but it does not guarantee that LMMs truly comprehend the answer. UPD assesses the LMM's ability to withhold answers when encountering unsolvable problems of MCQA, verifying whether the model truly understands the answer. UPD encompasses three problems: Absent Answer Detection (AAD), Incompatible Answer Set Detection (IASD), and Incompatible Visual Question Detection (IVQD), covering unsolvable cases like answer-lacking or incompatible choices and image-question mismatches. For the evaluation, we introduce the MM-UPD Bench, a benchmark for assessing performance across various ability dimensions. Our experiments reveal that even most LMMs, which demonstrate adequate performance on existing benchmarks, struggle significantly with MM-UPD, underscoring a novel aspect of trustworthiness that current benchmarks have overlooked. A detailed analysis shows that LMMs have different bottlenecks and chain-of-thought and self-reflection improved performance for LMMs with the bottleneck in their LLM capability. We hope our insights will enhance the broader understanding and development of more reliable LMMs. The code is available at https://github.com/AtsuMiyai/UPD.