SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection
作者: Peng Qi, Zehong Yan, Wynne Hsu, Mong Li Lee
分类: cs.MM, cs.AI, cs.CL, cs.CV, cs.CY
发布日期: 2024-03-05
备注: To appear in CVPR 2024
💡 一句话要点
提出SNIFFER以解决OOC虚假信息检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚假信息检测 多模态大型语言模型 上下文外信息 解释生成 指令调优
📋 核心要点
- 现有方法主要集中在图像与文本的一致性评估上，但缺乏有效的解释能力，限制了虚假信息的揭穿。
- SNIFFER通过两阶段的指令调优，增强了模型对新闻领域实体的概念对齐和OOC特定指令数据的判别能力。
- 实验结果显示，SNIFFER在检测准确性上超过了原始多模态大型语言模型40%以上，并在解释生成方面表现优异。
📝 摘要（中文）
虚假信息是一个普遍的社会问题，尤其是上下文外（OOC）虚假信息，它通过将真实图像与虚假文本结合来误导观众。现有方法主要关注图像与文本的一致性，但缺乏令人信服的解释，这对于揭穿虚假信息至关重要。本文提出了SNIFFER，一种专门针对OOC虚假信息检测和解释的多模态大型语言模型。SNIFFER通过两阶段的指令调优，显著提升了模型的判别能力和解释生成能力。实验表明，SNIFFER在检测准确性上超过了原始多模态大型语言模型40%以上，并在定量和人工评估中提供了准确且有说服力的解释。
🔬 方法详解
问题定义：本文旨在解决上下文外（OOC）虚假信息检测的问题。现有方法在图像与文本一致性评估上存在不足，缺乏有效的解释能力，无法有效揭穿虚假信息。
核心思路：SNIFFER的核心思路是通过两阶段的指令调优，提升模型的概念对齐能力和判别能力，从而更好地检测OOC虚假信息并生成解释。
技术框架：SNIFFER的整体架构包括两个主要阶段：第一阶段对模型进行通用对象与新闻领域实体的概念对齐，第二阶段利用GPT-4生成的OOC特定指令数据进行微调。模型还结合外部工具和检索机制，增强了上下文验证能力。
关键创新：SNIFFER的主要创新在于其两阶段的指令调优策略，使得模型在理解和发现跨模态差异方面更为精细，显著提升了虚假信息检测的准确性和解释能力。
关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化模型在多模态数据上的表现。通过引入外部知识，SNIFFER能够更有效地进行上下文验证，提升了整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SNIFFER在检测准确性上超过了原始多模态大型语言模型40%以上，并在与现有最先进方法的比较中表现出色，提供了准确且有说服力的解释，得到了定量和人工评估的验证。
🎯 应用场景
SNIFFER的研究成果在新闻媒体、社交网络和信息验证等领域具有广泛的应用潜力。通过有效检测和解释OOC虚假信息，SNIFFER能够帮助用户更好地识别和抵御虚假信息的影响，从而提升信息传播的真实性和可靠性。未来，该技术还可以扩展到其他类型的虚假信息检测和信息验证任务中。
📄 摘要（原文）
Misinformation is a prevalent societal issue due to its potential high risks. Out-of-context (OOC) misinformation, where authentic images are repurposed with false text, is one of the easiest and most effective ways to mislead audiences. Current methods focus on assessing image-text consistency but lack convincing explanations for their judgments, which is essential for debunking misinformation. While Multimodal Large Language Models (MLLMs) have rich knowledge and innate capability for visual reasoning and explanation generation, they still lack sophistication in understanding and discovering the subtle crossmodal differences. In this paper, we introduce SNIFFER, a novel multimodal large language model specifically engineered for OOC misinformation detection and explanation. SNIFFER employs two-stage instruction tuning on InstructBLIP. The first stage refines the model's concept alignment of generic objects with news-domain entities and the second stage leverages language-only GPT-4 generated OOC-specific instruction data to fine-tune the model's discriminatory powers. Enhanced by external tools and retrieval, SNIFFER not only detects inconsistencies between text and image but also utilizes external knowledge for contextual verification. Our experiments show that SNIFFER surpasses the original MLLM by over 40% and outperforms state-of-the-art methods in detection accuracy. SNIFFER also provides accurate and persuasive explanations as validated by quantitative and human evaluations.