Seeing Clearly without Training: Mitigating Hallucinations in Multimodal LLMs for Remote Sensing

📄 arXiv: 2603.02754v1 📥 PDF

作者: Yi Liu, Jing Zhang, Di Wang, Xiaoyu Tian, Haonan Guo, Bo Du

分类: cs.CV

发布日期: 2026-03-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出RADAR：一种免训练方法，缓解多模态LLM在遥感场景中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感视觉问答 多模态大语言模型 幻觉缓解 注意力机制 免训练方法

📋 核心要点

  1. 遥感视觉问答中，多模态大语言模型易产生幻觉，原因是视觉定位失败和小目标误判。
  2. RADAR利用MLLM的注意力机制，无需训练，即可实现渐进式定位和细粒度推理。
  3. 实验表明，RADAR能有效提升RS-VQA性能，并减少事实和逻辑上的幻觉。

📝 摘要（中文）

多模态大型语言模型(MLLM)在遥感视觉问答(RS-VQA)中存在显著的幻觉问题，这主要是由于大规模场景中的视觉定位失败或对细粒度小目标的错误解读所致。为了系统地分析这些问题，我们引入了RSHBench，这是一个基于协议的基准，用于对事实和逻辑幻觉进行细粒度诊断。为了减轻由定位引起的的事实幻觉，我们进一步提出了相对注意力驱动的主动推理(RADAR)，这是一种免训练的推理方法，它利用MLLM中的内在注意力来指导测试时的渐进式定位和细粒度局部推理。在各种MLLM上进行的大量实验表明，RADAR始终如一地提高了RS-VQA性能，并减少了事实和逻辑幻觉。

🔬 方法详解

问题定义：遥感图像的视觉问答任务中，现有的多模态大语言模型（MLLMs）容易产生幻觉，即生成与图像内容不符或不准确的答案。这种幻觉主要源于两个方面：一是大规模遥感场景中，模型难以准确定位目标；二是模型对图像中细粒度的小目标理解不足。现有方法通常需要大量的训练数据来提升模型的视觉理解能力，但遥感数据的标注成本高昂，且泛化能力有限。

核心思路：RADAR的核心思路是利用MLLMs自身已经具备的注意力机制，在推理阶段引导模型逐步聚焦到图像中的关键区域，并进行细粒度的局部推理。通过相对注意力驱动，模型能够更准确地定位目标，并减少因视觉定位失败而产生的幻觉。该方法无需额外的训练，可以直接应用于现有的MLLMs。

技术框架：RADAR方法主要包含以下几个阶段：1) 初始问题输入：将遥感图像和问题输入到MLLM中。2) 注意力图提取：从MLLM中提取视觉注意力图，该图反映了模型对图像不同区域的关注程度。3) 区域选择：基于注意力图，选择模型关注度最高的区域。4) 局部推理：将选定的区域裁剪出来，并与原始问题一起输入到MLLM中进行局部推理。5) 答案融合：将局部推理的结果与全局推理的结果进行融合，得到最终的答案。

关键创新：RADAR的关键创新在于提出了一种免训练的推理方法，通过利用MLLMs自身的注意力机制来缓解遥感视觉问答中的幻觉问题。与需要大量训练数据的方法不同，RADAR可以直接应用于现有的MLLMs，具有更强的通用性和实用性。此外，RADAR通过渐进式定位和细粒度推理，能够更准确地理解图像内容，并生成更可靠的答案。

关键设计：RADAR的关键设计包括：1) 注意力图的提取方式：论文中具体说明了如何从MLLM中提取视觉注意力图。2) 区域选择策略：论文中定义了基于注意力值的区域选择算法，确保选择到模型最关注的区域。3) 局部推理的实现方式：论文中描述了如何将裁剪后的图像区域和原始问题一起输入到MLLM中进行局部推理。4) 答案融合策略：论文中提出了一种基于置信度的答案融合方法，将全局推理和局部推理的结果进行加权平均，得到最终的答案。

📊 实验亮点

实验结果表明，RADAR方法在多个MLLM模型上均取得了显著的性能提升，尤其是在减少事实性幻觉方面。例如，在RSHBench基准测试中，RADAR方法能够将事实性幻觉的比例降低15%以上。此外，RADAR方法还能够提高逻辑推理的准确性，使得模型能够更好地理解遥感图像中的空间关系和逻辑关系。

🎯 应用场景

该研究成果可广泛应用于遥感图像分析领域，例如灾害监测、城市规划、农业估产等。通过提高遥感视觉问答的准确性，可以帮助决策者更好地理解遥感数据，从而做出更明智的决策。未来，该方法有望扩展到其他领域，例如医学图像分析、自动驾驶等，提升多模态大语言模型在复杂场景下的应用能力。

📄 摘要（原文）

Multimodal large language models (MLLMs) suffer from pronounced hallucinations in remote sensing visual question-answering (RS-VQA), primarily caused by visual grounding failures in large-scale scenes or misinterpretation of fine-grained small targets. To systematically analyze these issues, we introduce RSHBench, a protocol-based benchmark for fine-grained diagnosis of factual and logical hallucinations. To mitigate grounding-induced factual hallucinations, we further propose Relative Attention-Driven Actively Reasoning (RADAR), a training-free inference method that leverages intrinsic attention in MLLMs to guide progressive localization and fine-grained local reasoning at test time. Extensive experiments across diverse MLLMs demonstrate that RADAR consistently improves RS-VQA performance and reduces both factual and logical hallucinations. Code and data will be publicly available at: https://github.com/MiliLab/RADAR