Hypergraph-based Multimodal Retrieval-Augmented Generation with Incremental Refinement
作者: Shenao Chen, Yidan Xu, Xiangmin Han, Rundong Xue, Duanpo Wu, Yuhan Gao, Chenggang Yan, Yue Gao
分类: cs.AI
发布日期: 2026-08-17
备注: Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026)
🔗 代码/项目: GITHUB
💡 一句话要点
提出Hyper-M2RAG以解决多模态文档检索中的高阶关联问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态检索 超图表示 增量精炼 信息整合 高阶关联 文档处理 语义一致性
📋 核心要点
- 现有多模态检索方法无法有效捕捉异构实体之间的高阶关联，导致信息整合不足。
- 提出Hyper-M2RAG框架，利用高阶超图表示学习和锚点驱动的增量精炼机制，优化多模态文档检索。
- 在多模态基准数据集上的评估显示，Hyper-M2RAG在检索精度和生成一致性上显著优于现有方法。
📝 摘要（中文）
现代多模态检索增强生成（M-RAG）系统受到传统简单图的二元连接范式的限制，无法捕捉异构实体之间复杂的高阶关联。现有的精炼策略往往依赖于全面的页面重构，导致计算冗余和上下文噪声。本文提出Hyper-M2RAG框架，通过高阶超图表示学习重新定义多模态文档检索，利用超边作为统一语义容器，封装文本、图像和表格之间的多向关联。引入锚点驱动的增量精炼机制，有效弥补跨页知识差距，显著提升检索精度和生成一致性。
🔬 方法详解
问题定义：本文旨在解决传统多模态检索方法在处理异构实体之间复杂高阶关系时的局限性，现有方法往往依赖于简单图的二元连接，无法有效捕捉多维度信息的关联性。
核心思路：提出Hyper-M2RAG框架，通过高阶超图表示学习，将文档结构形式化为多模态超图，利用超边作为统一的语义容器，封装文本、图像和表格之间的多向关联，从而超越点对点建模的局限。
技术框架：该框架主要包括两个模块：1) 多模态超图构建模块，通过超边连接不同模态的信息；2) 锚点驱动的增量精炼模块，针对跨页知识差距进行局部超拓扑重构，避免全局重构带来的计算冗余。
关键创新：最重要的创新在于引入了高阶超图表示学习和锚点驱动的增量精炼机制，这使得信息整合更加高效，显著减少了计算负担，并提高了语义一致性。
关键设计：在设计中，采用了特定的超边构建策略，以确保多模态信息的有效封装，同时在增量精炼过程中，通过识别边界跨越的锚点节点，利用一跳邻域上下文进行局部重构，确保了信息的连贯性和一致性。
🖼️ 关键图片
📊 实验亮点
在多模态基准数据集上的实验结果表明，Hyper-M2RAG在检索精度和生成一致性方面显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据待补充），展示了其在多模态信息处理中的强大能力。
🎯 应用场景
该研究的潜在应用领域包括智能文档处理、信息检索系统和多模态数据分析等。通过优化多模态文档的检索和生成过程，Hyper-M2RAG能够提升用户在信息获取和理解过程中的效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Modern Multimodal Retrieval-Augmented Generation (M-RAG) systems are fundamentally limited by the binary connectivity paradigm of traditional simple graphs, which fails to capture the intricate, high-order correlations among heterogeneous entities, such as the N-ary relationships between a visual chart, its scattered textual descriptions, and underlying numerical data. Furthermore, existing refinement strategies often rely on exhaustive, full-page reconstruction to align cross-modal information, leading to prohibitive computational redundancy and the introduction of contextual noise in long-form document processing. In this paper, we propose Hyper-M2RAG, a novel framework that redefines multimodal document retrieval through High-order Hypergraph Representation Learning. We first formalize the document structure as a Multimodal Hypergraph, utilizing hyperedges as unified semantic containers to encapsulate multi-way associations across text, images, and tables, thereby transcending point-to-point modeling. To mitigate semantic fragmentation caused by physical pagination, we introduce an Anchor-driven Incremental Refinement mechanism. Rather than performing a global sweep, our approach identifies boundary-crossing anchor nodes and reconstructs their local hyper-topology using one-hop neighborhood contexts. This targeted refinement effectively bridges cross-page knowledge gaps with minimal computational footprints. Extensive evaluations on multimodal benchmarking datasets demonstrate that Hyper-M2RAG significantly outperforms state-of-the-art methods in both retrieval precision and generation coherence. Our code is available at https://github.com/ShenAoChen2001/MMHRAG.