GAM-RAG: Gain-Adaptive Memory for Evolving Retrieval in Retrieval-Augmented Generation

📄 arXiv: 2603.01783v1 📥 PDF

作者: Yifan Wang, Mingxuan Jiang, Zhihao Sun, Yixin Cao, Yicun Liu, Keyang Chen, Guangnan Ye, Hongfeng Chai

分类: cs.AI

发布日期: 2026-03-02

💡 一句话要点

提出GAM-RAG，通过增益自适应记忆进化检索，提升RAG效率并降低推理成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 动态索引 增益自适应 记忆更新 卡尔曼滤波 层次索引

📋 核心要点

  1. 现有RAG方法依赖静态索引，导致相关查询重复多跳遍历，增加延迟和计算成本。
  2. GAM-RAG通过积累检索经验并更新检索记忆，构建轻量级层次索引，捕获潜在共现关系。
  3. 实验表明，GAM-RAG在提升性能的同时，显著降低了推理成本，并提供了更新动态的理论分析。

📝 摘要（中文）

检索增强生成(RAG)通过外部证据增强大型语言模型，但许多实现依赖于构建后保持静态的预构建索引。因此，相关的查询会重复类似的多跳遍历，从而增加延迟和计算成本。受认知神经科学中基于模式学习的启发，我们提出了GAM-RAG，一个无需训练的框架，它可以从重复或相关的查询中积累检索经验，并随时间更新检索记忆。GAM-RAG构建了一个轻量级的、无关系的层次索引，其链接捕获潜在的共现关系，而不是固定的语义关系。在推理过程中，成功的检索事件提供句子级别的反馈，更新句子记忆，使得对类似推理类型有用的证据更容易在以后被激活。为了平衡噪声反馈下的稳定性和适应性，我们引入了一种不确定性感知的、受卡尔曼滤波启发的增益规则，该规则联合更新记忆状态和基于困惑度的不确定性估计。它对可靠的新信号应用快速更新，对稳定或嘈杂的记忆应用保守的细化。我们提供了更新动态的理论分析，并通过实验表明，GAM-RAG的平均性能比最强的基线提高了3.95%，在5轮记忆的情况下提高了8.19%，同时降低了61%的推理成本。我们的代码和数据集可在以下网址获得：https://anonymous.4open.science/r/GAM_RAG-2EF6。

🔬 方法详解

问题定义：现有RAG系统依赖于预先构建且静态的索引，无法适应不断变化的查询模式。当遇到相似或相关的查询时，系统会重复执行相同的多跳遍历，导致不必要的计算开销和延迟。这种静态索引的局限性阻碍了RAG系统在动态环境中的效率和可扩展性。

核心思路：GAM-RAG的核心思想是利用检索过程中积累的经验，动态地更新检索记忆，从而优化后续的检索过程。它借鉴了认知神经科学中基于模式的学习机制，通过构建一个轻量级的层次索引，捕捉查询之间的潜在共现关系，而不是依赖于固定的语义关系。通过不断学习和适应，GAM-RAG能够更有效地检索到相关的外部知识，提高RAG系统的整体性能。

技术框架：GAM-RAG的整体框架包含以下几个主要模块：1) 层次索引构建：构建一个轻量级的、无关系的层次索引，用于存储外部知识。2) 检索过程：根据查询在索引中进行检索，获取相关的外部知识。3) 反馈机制：根据检索结果的质量，提供句子级别的反馈信号。4) 记忆更新：利用反馈信号，更新句子记忆，使得对类似推理类型有用的证据更容易在以后被激活。5) 增益自适应更新：使用一种不确定性感知的、受卡尔曼滤波启发的增益规则，联合更新记忆状态和基于困惑度的不确定性估计。

关键创新：GAM-RAG最重要的创新点在于其增益自适应的记忆更新机制。传统的RAG方法通常采用固定的索引结构，无法根据检索经验进行动态调整。GAM-RAG通过引入增益自适应机制，能够根据反馈信号的可靠性，动态地调整记忆更新的幅度。对于可靠的新信号，系统会进行快速更新；对于稳定或嘈杂的记忆，系统则会进行保守的细化。这种机制使得GAM-RAG能够更好地平衡稳定性和适应性，从而提高检索效率和准确性。

关键设计：GAM-RAG的关键设计包括：1) 层次索引结构：采用轻量级的层次索引，降低了索引的构建和维护成本。2) 句子级别反馈：使用句子级别的反馈信号，提供了更细粒度的学习信息。3) 增益自适应规则：采用受卡尔曼滤波启发的增益规则，根据不确定性估计动态调整记忆更新的幅度。4) 困惑度估计：使用基于困惑度的不确定性估计，评估记忆的可靠性。这些设计共同作用，使得GAM-RAG能够有效地学习和适应不断变化的查询模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAM-RAG在多个数据集上取得了显著的性能提升。与最强的基线相比，GAM-RAG的平均性能提高了3.95%，在5轮记忆的情况下提高了8.19%。同时，GAM-RAG还显著降低了推理成本，降低幅度达到61%。这些结果表明，GAM-RAG是一种高效且有效的RAG方法。

🎯 应用场景

GAM-RAG适用于需要持续学习和适应的RAG应用场景，例如：智能客服、问答系统、知识库更新等。通过动态更新检索记忆，GAM-RAG可以提高检索效率和准确性，降低推理成本，并更好地适应不断变化的查询模式。该研究对于构建更智能、更高效的RAG系统具有重要的实际价值和未来影响。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) grounds large language models with external evidence, but many implementations rely on pre-built indices that remain static after construction. Related queries therefore repeat similar multi-hop traversal, increasing latency and compute. Motivated by schema-based learning in cognitive neuroscience, we propose GAM-RAG, a training-free framework that accumulates retrieval experience from recurring or related queries and updates retrieval memory over time. GAM-RAG builds a lightweight, relation-free hierarchical index whose links capture potential co-occurrence rather than fixed semantic relations. During inference, successful retrieval episodes provide sentence-level feedback, updating sentence memories so evidence useful for similar reasoning types becomes easier to activate later. To balance stability and adaptability under noisy feedback, we introduce an uncertainty-aware, Kalman-inspired gain rule that jointly updates memory states and perplexity-based uncertainty estimates. It applies fast updates for reliable novel signals and conservative refinement for stable or noisy memories. We provide a theoretical analysis of the update dynamics, and empirically show that GAM-RAG improves average performance by 3.95% over the strongest baseline and by 8.19% with 5-turn memory, while reducing inference cost by 61%. Our code and datasets are available at: https://anonymous.4open.science/r/GAM_RAG-2EF6.