DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation

📄 arXiv: 2607.28580v1 📥 PDF

作者: Jiacheng Tao, Qingyun Sun, Haonan Yuan, Ziwei Zhang, Jianxin Li

分类: cs.AI

发布日期: 2026-07-30

备注: Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 12 pages

💡 一句话要点

提出DualG-MRAG以解决多模态检索增强生成中的复杂推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 增强生成 复杂推理 图神经网络 动态编程 证据召回 问答系统

📋 核心要点

  1. 现有多模态检索增强生成方法在处理复杂的多跳推理任务时存在显著不足，难以捕捉跨模态的关系。
  2. 本文提出DualG-MRAG框架，通过构建宏观图和微观图，分别进行全局推理和局部验证，有效抑制检索噪声。
  3. 实验结果显示，DualG-MRAG在证据召回率和复杂问答准确性上均显著优于现有基线方法。

📝 摘要（中文）

尽管多模态检索增强生成（MM-RAG）已显示出良好的效果，但在复杂的多跳推理任务中仍面临挑战。现有方法主要集中于独立的实例级匹配，往往无法捕捉跨模态和文档的显式关系。为了解决这一问题，本文提出了DualG-MRAG，一个双层框架，包含宏观推理和微观匹配图，旨在通过将全局结构推理与细粒度证据匹配解耦来抑制检索噪声。实验结果表明，DualG-MRAG在证据召回和复杂问答准确性方面均优于基线方法。

🔬 方法详解

问题定义：本文旨在解决多模态检索增强生成（MM-RAG）在复杂多跳推理任务中的不足，现有方法往往无法有效捕捉跨模态和文档的关系，导致推理效果不佳。

核心思路：提出DualG-MRAG框架，通过将宏观推理与微观匹配解耦，分别处理全局结构和细粒度证据，从而抑制检索噪声并提升推理准确性。

技术框架：DualG-MRAG包含两个主要模块：宏观图用于全局拓扑路由，微观图用于精确的局部验证。此外，采用GNN检索器实现异构证据源之间的动态相关性传播。

关键创新：最重要的创新在于引入了动态编程解码机制，从GNN的前向传递中提取显式推理路径，替代传统的孤立文档块输入，增强了生成模型的结构指导。

关键设计：在设计中，采用了图神经网络（GNN）进行信息传递，设置了适当的损失函数以优化推理路径的选择，确保模型在多模态场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DualG-MRAG在证据召回率上提升了XX%，在复杂问答准确性上提高了YY%，显著优于现有基线方法，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索和多模态交互等。通过提升多模态信息的整合与推理能力，DualG-MRAG能够在实际应用中提供更为准确和高效的生成结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

While Multimodal Retrieval-Augmented Generation (MM-RAG) has shown promising results, it still struggles with complex multi-hop reasoning tasks. Existing methods primarily focus on independent instance-level matching, which often fails to capture explicit relationships across modalities and documents. Although Graph-enhanced methods introduce structural modeling, they face a fundamental challenge in multimodal scenarios: incorporating fine-grained visual features leads to rapid graph expansion and retrieval noise, whereas coarse-grained representations cause the discarding of critical local evidence. To address this dilemma, we propose DualG-MRAG, a Dual-tier framework that introduces a decoupled architecture comprising Macro-reasoning and Micro-matching Graphs for Multimodal RAG. Specifically, to suppress retrieval noise by isolating global structural reasoning from fine-grained evidence matching, we construct a Macro Graph for global topological routing and a Micro Graph for precise local verification. Subsequently, to enable dynamic relevance propagation across heterogeneous evidence sources, we formulate retrieval as a query-driven message passing process via a GNN Retriever. Furthermore, to provide the generative model with coherent structural guidance, we introduce a dynamic programming decoding mechanism that extracts explicit reasoning paths directly from the GNN's forward pass, replacing the standard input of isolated document chunks. Extensive experiments demonstrate that DualG-MRAG outperforms baselines in both evidence recall and complex QA accuracy.