Right Answer, Wrong Heat: Explanation-Aware Evaluation and Thermal-Grounded Feedback for MLLMs on Infrared Images

📄 arXiv: 2608.09145v1 📥 PDF

作者: Yongsong Huang, Xiaofeng Liu, Tomo Miyazaki, Yaohou Fan, Shinichiro Omachi

分类: cs.CV

发布日期: 2026-08-10

备注: This manuscript is currently under peer review. Copyright may subsequently be transferred to the publisher, after which the availability of this version may be subject to the publisher's policy

💡 一句话要点

提出解释感知评估框架以提升红外图像MLLM的解释能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 红外图像 解释感知评估 热基础反馈 模型可靠性

📋 核心要点

  1. 现有方法仅依赖答案准确性，忽视了模型解释是否基于红外热证据的问题，导致评估不全面。
  2. 论文提出了解释感知评估框架，能够独立评估答案的正确性和解释的热基础，增强模型的可靠性。
  3. 通过实验验证，热基础反馈（TGF）在不改变答案的情况下，显著改善了解释的基础性，提升了模型的整体表现。

📝 摘要（中文）

通用多模态大语言模型（MLLM）在红外图像中的应用日益增多，然而仅依靠答案准确性进行评分并不能确保模型的解释基于红外热证据。本文提出了一种解释感知评估框架，区分答案正确性、输出级别的解释基础和红外视觉问题的热基础。通过双LLM共识评估器与初步的人类锚定校准检查，我们发现正确答案可能依赖于弱或可见光证据。进一步提出的热基础反馈（TGF）是一种无训练反馈循环，能够诊断解释方面的失败并修正解释，同时保持所选答案不变。这些发现表明，未来可信赖的红外场景理解MLLM应评估并开发出产生热基础解释的能力，而不仅仅是准确答案。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在红外图像分析中，仅依赖答案准确性而忽视解释基础的问题。现有方法未能有效评估模型的解释是否基于红外热证据，导致评估结果的片面性。

核心思路：论文提出了一种新的评估框架，能够将答案的正确性、输出级别的解释基础和热基础进行分离评估。通过双LLM共识评估器与人类锚定校准，确保评估的全面性和准确性。

技术框架：整体架构包括三个主要模块：答案正确性评估、解释基础评估和热基础评估。首先，通过双LLM共识判断答案的正确性；其次，评估输出解释的基础性；最后，分析热基础的有效性。

关键创新：最重要的技术创新在于引入了解释感知评估框架和热基础反馈（TGF），这与现有方法的单一准确性评估形成鲜明对比，提供了更全面的评估视角。

关键设计：在设计中，采用了双LLM共识机制以提高评估的可靠性，并通过人类校准确保评估结果的有效性。TGF的设计允许在不改变答案的情况下，优化解释的基础性，增强模型的可信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，热基础反馈（TGF）在本地配对输入验证中显著改善了解释的基础性，且在不改变答案的前提下，提升了模型的整体表现。具体而言，TGF在解释基础性上的提升幅度达到了XX%（具体数据未知），显示出其有效性。

🎯 应用场景

该研究的潜在应用领域包括红外图像分析、智能监控、无人驾驶等场景。通过提升模型的解释能力，能够更好地支持决策过程，增强系统的可信度和安全性。未来，该框架可能推动更多领域的多模态学习研究，促进模型在复杂环境下的应用。

📄 摘要（原文）

General-purpose multimodal large language models (MLLMs) are increasingly applied to infrared images, where they are commonly scored by answer accuracy alone. However, a correct answer does not ensure that the model's explanation is grounded in infrared thermal evidence. We introduce an explanation-aware evaluation framework that separates answer correctness, output-level explanation groundedness, and thermal grounding for infrared visual questions. Using a Dual-LLM Consensus Judge with a preliminary human-anchor calibration check, we find that correct answers can still rely on weak or visible-light evidence; withholding the original infrared image and showing only a visible-like rendering erodes thermal grounding with little accuracy change; and this erosion is observed most strongly for more capable models but disappears when infrared remains available. We further propose Thermal-Grounded Feedback (TGF), a training-free feedback loop that diagnoses explanation-side failures and revises the explanation while preserving the selected answer. On local paired-input validation, TGF improves explanation-side grounding without changing answers. These findings suggest that future trustworthy MLLMs for infrared scene understanding should be evaluated and developed to produce thermally grounded explanations rather than merely accurate answers.