ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection

📄 arXiv: 2606.24112v1 📥 PDF

作者: Chenhao Dang, Dantong Zhu, Jun Yang, Conghui He, Weijia Li

分类: cs.AI

发布日期: 2026-06-23

备注: The project is available at https://dang-ai.github.io/ReMMD

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ReMMD框架以解决多模态虚假信息检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态虚假信息检测 代理验证 持久内存 跨语言处理 图像分析 证据重用 性能优化

📋 核心要点

  1. 现有的多模态虚假信息检测方法通常无法处理长篇多语言叙述和多图像组合，导致验证效率低下。
  2. ReMMD框架通过引入ReMMDBench基准和ReMMD-Agent验证器，提供了一种新的多语言多图像代理验证方法，旨在提升检测准确性和效率。
  3. 实验结果显示，ReMMD-Agent在五种真实性标签的准确率达到41.80%，宏观F1值为39.12%，相较于其他方法显著降低了成本。

📝 摘要（中文）

多模态虚假信息检测日益重要，因为病毒式传播的帖子通常结合了长篇多语言叙述、多个图像、混合来源和微妙的文本-图像框架错误。现有基准和方法与此设置不匹配，通常孤立短标题、单一图像、二元标签或单一操控来源，而在现实证据搜索中，代理验证成本高昂。我们提出了ReMMD，一个现实的多语言多图像代理验证框架，用于多模态虚假信息检测。ReMMD包括ReMMDBench，一个包含500个样本、2756张图像、五种单语语言、两种跨语言设置、三个文本长度层次、多图像帖子、五种真实性标签、八种失真标签、证据来源和推理的真实世界多模态虚假信息检测基准。ReMMD-Agent是一个持久内存验证器，能够将帖子分解为原子点，构建可重用的证据集，并预测结构化的L1/L2/L3输出。

🔬 方法详解

问题定义：论文旨在解决多模态虚假信息检测中的代理验证问题，现有方法在处理长文本和多图像时效率低下，且验证成本高昂。

核心思路：ReMMD框架通过引入持久内存的验证器，将多模态信息分解为原子点，构建可重用的证据集，从而提高验证的准确性和效率。

技术框架：ReMMD框架包括两个主要模块：ReMMDBench基准用于评估多模态虚假信息检测的性能，ReMMD-Agent作为验证器负责处理和分析输入的多模态数据。

关键创新：ReMMD的核心创新在于其持久内存验证器的设计，能够有效地分解信息并重用证据，显著提升了多模态虚假信息检测的性能和效率。

关键设计：在ReMMD-Agent中，采用了结构化的L1/L2/L3输出预测机制，并通过优化损失函数和网络结构，确保了在多语言和多图像环境下的高效验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReMMD-Agent在五种真实性标签的检测中，准确率达到41.80%，宏观F1值为39.12%。与MMD-Agent相比，成本降低了17.5%，与T2-Agent相比，降低了79.9%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、新闻真实性验证和在线信息传播监测。通过提高多模态虚假信息检测的准确性，ReMMD框架能够有效减少虚假信息的传播，提升公众对信息的信任度，具有重要的社会价值和实际影响。

📄 摘要（原文）

Multimodal misinformation detection is increasingly important because viral posts now combine long multilingual narratives, several images, mixed provenance, and subtle text--image framing errors. Existing benchmarks and methods remain poorly matched to this setting: they usually isolate short captions, single images, binary labels, or one manipulation source, while agentic verification remains costly under realistic evidence search. We present ReMMD, a realistic multilingual multi-image agentic verification framework for multimodal misinformation detection. ReMMD includes ReMMDBench, a real-world multimodal misinformation detection benchmark with 500 samples, 2,756 images, five monolingual languages, two cross-lingual settings, three text-length tiers, multi-image posts, five-way veracity labels, eight distortion labels, evidence provenance, and rationales. It also includes ReMMD-Agent, a persistent-memory verifier that decomposes posts into atomic points, builds a reusable evidence set, and predicts structured L1/L2/L3 outputs. Across proprietary systems, open LVLMs, MMD-Agent, and T2-Agent, ReMMD-Agent obtains the best five-way veracity performance, with 41.80% accuracy and 39.12% macro-F1 using GPT-5.2, while reducing cost by 17.5% relative to MMD-Agent and 79.9% relative to T2-Agent. The project is available at https://dang-ai.github.io/ReMMD.