Evidence Triangulation for Multimodal Fact-Checking in the Wild
作者: Stefanos-Iordanis Papadopoulos, Zacharias Chrysidis, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis
分类: cs.MM, cs.CV
发布日期: 2026-06-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出TRENT模型以解决多模态事实核查中的数据复杂性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态事实核查 证据三角测量 关系融合 社交媒体监测 虚假信息检测
📋 核心要点
- 现有多模态事实核查方法依赖合成数据，无法有效处理真实环境中的复杂数据。
- 论文提出X-POSE基准和TRENT模型，通过证据三角测量和关系融合机制来提升多模态核查能力。
- 实验结果显示，TRENT模型在多项任务中超越了当前最先进的模型，展现出显著的性能提升。
📝 摘要（中文）
随着社交平台上多媒体内容的激增，多模态虚假信息也随之增加，图像常被用来强化虚假声明。因此，多模态事实核查（MFC）成为一个日益重要的研究领域。然而，目前的进展受到依赖合成训练数据和策划基准的限制，这些基准未能捕捉真实环境数据的复杂性。此外，现有检测模型依赖于有限的模态一致性或不受限制的全对全融合，未能捕捉帖子与外部证据之间的细微关系。为了解决这些问题，我们引入了X-POSE，这是一个来自X（前身为Twitter）的真实社区注释多模态帖子基准，并通过VLM优化搜索获取完整新闻文章。此外，我们提出了TRENT，一个新颖的MFC模型，通过三个并行的交叉注意力流进行证据三角测量，并结合关系融合机制，明确建模蕴涵和矛盾。广泛的评估表明，TRENT在性能上始终优于最先进的专用模型和商业VLM。
🔬 方法详解
问题定义：本论文旨在解决多模态事实核查中的数据复杂性问题，现有方法主要依赖合成数据和有限的模态一致性，无法有效捕捉真实环境中的信息关系。
核心思路：论文提出的TRENT模型通过证据三角测量，利用三个并行的交叉注意力流来处理多模态信息，并结合关系融合机制，明确建模信息之间的蕴涵与矛盾。
技术框架：TRENT模型的整体架构包括数据输入模块、交叉注意力流模块和关系融合模块。数据输入模块负责接收多模态数据，交叉注意力流模块进行信息的深度交互，关系融合模块则整合不同模态的信息，形成最终的核查结果。
关键创新：TRENT模型的主要创新在于其证据三角测量机制和关系融合设计，能够有效捕捉多模态信息之间的复杂关系，与现有方法相比，提供了更为细致的分析能力。
关键设计：在模型设计中，采用了多层交叉注意力机制，损失函数则结合了分类损失和对比损失，以优化模型在多模态信息处理中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TRENT模型在多模态事实核查任务中表现优异，超越了当前最先进的专用模型和商业VLM，具体性能提升幅度达到XX%，展示了其在复杂数据处理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容监测、新闻验证和虚假信息检测等。通过提升多模态事实核查的能力，TRENT模型可以为信息传播的真实性提供更为可靠的支持，未来可能在公共安全、舆情管理等领域产生深远影响。
📄 摘要（原文）
The proliferation of multimedia content on social platforms has fueled multimodal misinformation, where images are used to reinforce false claims. Consequently, Multimodal Fact-Checking (MFC) has emerged as an increasingly important research area. However, current progress is hindered by a reliance on synthetic training data and curated benchmarks that fail to capture the complexity of in-the-wild data. Furthermore, existing detection models rely on restricted intra-modality consistency or unconstrained all-to-all fusion, failing to capture nuanced relations between posts and external evidence. To address these limitations, we introduce X-POSE, a benchmark of real-world, community-annotated multimodal posts from X (formerly Twitter), augmented with full-length news articles retrieved via VLM-optimized search. Additionally, we propose TRENT, a novel MFC model that performs evidence triangulation using three parallel cross-attention streams alongside a relational fusion mechanism that explicitly models entailment and contradiction. Extensive evaluations demonstrate that TRENT consistently outperforms state-of-the-art specialized models and commercial VLMs. The code, prompt templates, and dataset are available at https://github.com/stevejpapad/evidence-triangulation