HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection
作者: Xiangbo Wang, Jiasheng Zhang, Xingtong Yu, Luoqiang Lei, Delvin Ce Zhang
分类: cs.AI, cs.MM
发布日期: 2026-07-30
备注: 13 pages, including supplementary material
💡 一句话要点
提出HyperClaim以解决视频虚假信息检测中的多模态推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频虚假信息检测 多模态推理 超图 信息真实性 深度学习
📋 核心要点
- 现有的视频虚假信息检测方法往往忽视了局部真实性线索，导致信息识别的准确性不足。
- HyperClaim通过构建稀疏异构超图，捕捉多模态之间的高阶交互，提升了信息检测的精度。
- 在FactGuard时间协议下，HyperClaim在多个数据集上取得了显著的性能提升，准确率超过83%。
📝 摘要（中文）
视频虚假信息检测通常通过全局多模态融合或自由形式的多模态推理进行。然而，这两种方法往往无法充分表示来自查询短语、上下文文本和短时间帧之间耦合交互所产生的局部真实性线索。由于这些交互本质上是高阶的，成对图的形式不足以捕捉多方交叉模态依赖关系，而超图则为这些关系提供了合适的表示。我们提出了HyperClaim，一个用于样本级真实性分类的判别性时间超图框架。HyperClaim利用标题或基准提供的配对文本作为类似声明的查询，构建了一个稀疏的异构超图，应用信心感知过滤和源预算形成紧凑的文本-帧和短时间证据单元，并通过差异感知读出聚合文本、视觉和超边状态。HyperClaim在FactGuard时间协议下，分别在FakeSV、FakeTT和FakeVV上达到了83.7%、82.0%和87.3%的准确率，超越了强大的判别和推理基线。
🔬 方法详解
问题定义：本论文旨在解决视频虚假信息检测中对局部真实性线索的不足表示问题。现有方法多依赖全局融合，未能有效捕捉短时间帧与文本之间的高阶交互关系。
核心思路：HyperClaim的核心思路是利用超图结构来表示多模态之间的复杂依赖关系，通过构建稀疏异构超图，增强对局部信息的捕捉能力，从而提高检测准确性。
技术框架：HyperClaim的整体架构包括几个主要模块：构建稀疏异构超图、应用信心感知过滤、形成紧凑的文本-帧证据单元、进行自适应软关联推理，以及通过差异感知读出聚合不同模态的信息。
关键创新：HyperClaim的最大创新在于引入超图结构来处理多模态信息的高阶交互，克服了传统成对图方法的局限性，使得模型能够更好地捕捉复杂的跨模态依赖关系。
关键设计：在模型设计中，采用了信心感知过滤和源预算策略，以确保信息的紧凑性和有效性。同时，模型通过自适应软关联推理与残差文本-视频校准相结合，提升了信息的融合效果。
🖼️ 关键图片
📊 实验亮点
HyperClaim在FactGuard时间协议下的实验结果显示，在FakeSV、FakeTT和FakeVV数据集上分别达到了83.7%、82.0%和87.3%的准确率，显著超越了现有的判别和推理基线，展示了其在多模态推理中的有效性。
🎯 应用场景
该研究在视频虚假信息检测领域具有重要的应用潜力，能够有效提升社交媒体、新闻平台等场景中的信息真实性识别能力。未来，HyperClaim的框架可以扩展到其他多模态任务，如图像与文本的联合理解，进一步推动相关领域的发展。
📄 摘要（原文）
Video misinformation detection is often approached through global multimodal fusion or free-form multimodal reasoning. Both paradigms can under-represent localized authenticity cues that arise from coupled interactions among query phrases, contextual text, and short temporal spans of frames. Because such interactions are inherently higher-order, pairwise graph formulations are insufficient to capture multi-way cross-modal dependencies, whereas hypergraphs offer a suitable representation for these relations. We propose HyperClaim, a discriminative temporal hypergraph framework for sample-level authenticity classification. Using the title or benchmark-provided paired text as a claim-like query, HyperClaim constructs a sparse heterogeneous hypergraph over query tokens, evidence tokens, and sampled frames; applies confidence-aware filtering and source budgeting to form compact text-frame and short-range temporal evidence units; performs adaptive soft-incidence reasoning with residual text-video calibration; and aggregates textual, visual, and hyperedge states through a discrepancy-aware readout. Without relying on generated rationales or external tool calls, HyperClaim preserves fine-grained cross-modal and temporal structure that global fusion tends to flatten. Under the FactGuard temporal protocol, it achieves 83.7%, 82.0%, and 87.3% accuracy on FakeSV, FakeTT, and FakeVV, respectively, outperforming strong discriminative and reasoning-centric baselines. Learned incidence and attention weights further reveal token- and frame-level structure.