HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation

📄 arXiv: 2608.14032v1 📥 PDF

作者: Yin Li, Ziyang Hu, Zhiyu Guo, Xiangyu Liu, Wenbin Li, Boo-Ho Yang, Rav Lawana, Ziyue Li, Wei Zeng, Fugee Tsung

分类: cs.IR, cs.AI

发布日期: 2026-08-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出HAM-RAG以解决多模态文档生成中的结构性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 层次感知 文档结构 文本-图像对齐 RAG框架 信息检索 生成模型

📋 核心要点

  1. 现有多模态RAG方法将结构化文档扁平化，导致证据选择和放置的准确性降低。
  2. HAM-RAG框架通过利用文档层次作为基础信号，增强了文本和图像证据的上下文关系。
  3. HAM-RAG在多个基准上提升了17.3%的多模态平均性能，尤其在Wukong上提升了24.2%。

📝 摘要（中文）

现有的多模态RAG方法常常将结构化文档扁平化为孤立的文本和图像单元，削弱了源组织和局部文本-图像逻辑，影响了证据选择和放置的准确性。为此，本文提出了HAM-RAG，一个层次感知的多模态RAG框架，旨在实现结构忠实的交错生成。HAM-RAG利用文档层次作为检索和生成的基础信号，能够上下文化文本和视觉证据，并在提示中保留源位置和局部文本-图像关系。实验结果表明，HAM-RAG在多个基准上显著提升了性能，尤其在Wukong数据集上，局部文本-图像对齐效果显著改善。

🔬 方法详解

问题定义：现有的多模态RAG方法在处理结构化文档时，往往将其扁平化为独立的文本和图像单元，导致源组织和局部文本-图像逻辑的丧失，从而影响证据的选择和放置准确性。

核心思路：HAM-RAG框架的核心思想是利用文档的层次结构作为检索和生成的基础信号，以此来上下文化文本和视觉证据，并在生成过程中保留源位置和局部文本-图像关系，从而实现结构忠实的交错生成。

技术框架：HAM-RAG的整体架构包括文档层次的提取、文本和图像证据的上下文化、以及生成模块。该框架通过层次感知的方式，确保生成的内容与原始文档的结构保持一致。

关键创新：HAM-RAG的主要创新在于引入文档层次作为基础信号，这一设计与现有方法的本质区别在于其能够有效保留文档的结构信息，从而提高了生成内容的准确性和一致性。

关键设计：在技术细节上，HAM-RAG采用了特定的损失函数来优化文本和图像的对齐效果，并在网络结构中引入了层次感知模块，以增强对文档结构的理解和利用。具体的参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

HAM-RAG在多个基准测试中表现出色，尤其在Wukong数据集上，相较于最强的非层次基线，提升了24.2%的Img-CBS性能，整体多模态平均提升了17.3%。这些结果表明，文档层次作为基础信号在图像选择和局部文本-图像对齐中起到了关键作用。

🎯 应用场景

HAM-RAG框架在生成技术手册、维护指南和工业标准操作程序等结构化文档时具有广泛的应用潜力。通过保持文档的结构性和局部文本-图像关系，该方法能够为多模态助手提供更可靠的生成能力，提升用户体验和信息获取效率。

📄 摘要（原文）

Existing multimodal RAG methods often flatten structured documents into isolated text and image units, weakening the source organization and local text-image logic needed for faithful evidence selection and placement. We propose HAM-RAG, a Hierarchy-Aware Multimodal RAG framework for structure-faithful interleaved generation. HAM-RAG uses document hierarchy as a grounding signal across retrieval and generation, contextualizing textual and visual evidence and preserving source position and local text-image relations in the prompt. We further introduce HAM-Bench, covering Wukong, Wiki, arXiv, and Recipe across game walkthroughs, web pages, scientific papers, and step-wise recipe documents. Across multiple backbones, HAM-RAG improves the main multimodal average by 17.3% over the strongest non-hierarchical baseline. On Wukong, HAM-RAG improves Img-CBS by 24.2% over the strongest non-hierarchical baseline, demonstrating substantially better local text-image alignment. The main experiments and ablation study together demonstrate that document hierarchy is a key grounding signal for faithful image selection, placement, and local text-image alignment. These findings highlight the value of hierarchy-aware grounding for reliable multimodal assistants that generate answers faithful to the source organization, procedural structure, and local text-image evidence of structured documents, such as technical manuals, maintenance guides, and industrial SOPs. The code is available at https://github.com/MCCodeAI/HAM-RAG.git.