G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

📄 arXiv: 2606.13115 📥 PDF

作者: Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出G-Long以解决长时间对话一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间对话 图增强 记忆管理 小型语言模型 注意力机制 响应生成 信息检索

📋 核心要点

  1. 现有方法在长时间对话中面临信息丢失和高延迟的问题，难以保持一致性。
  2. G-Long通过图增强框架和微调的小型语言模型，实现结构化记忆提取和高效检索。
  3. 实验结果显示，G-Long在多个基准测试中表现优异，响应质量和检索召回率均有显著提升。

📝 摘要（中文）

尽管大型语言模型（LLMs）在开放域对话系统中取得了进展，但由于长文本推理的固有限制，保持长期一致性仍然是一个挑战。现有方法通常依赖于非结构化的记忆存储，容易导致信息丢失，或使用计算成本高昂的LLMs，造成高延迟。为了解决这些问题，本文提出了G-Long，一个图增强框架，利用微调的小型语言模型（sLM）进行结构化三元组提取和关联检索，大幅降低了操作成本。此外，本文引入了一种新颖的注意力感知重要性评分机制，利用T5摘要器的内在交叉注意力信号来识别显著记忆。大量实验表明，G-Long在响应生成和记忆检索方面均实现了最先进的性能，在MSC上响应质量提升高达9.8%，在LME上检索召回率提升40.8%，同时显著减少了计算开销。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长时间对话中保持一致性的问题，现有方法面临信息丢失和高延迟的挑战。

核心思路：G-Long通过图增强的框架，结合微调的小型语言模型，进行结构化的记忆提取和高效的关联检索，从而降低计算成本并提高对话一致性。

技术框架：G-Long的整体架构包括三个主要模块：1) 结构化三元组提取模块，利用小型语言模型提取关键信息；2) 关联检索模块，通过图结构存储和检索记忆；3) 注意力感知重要性评分机制，基于T5摘要器的交叉注意力信号评估记忆的重要性。

关键创新：本文的主要创新在于引入图增强的记忆管理和注意力感知的重要性评分机制，这与传统的非结构化记忆存储方法有本质区别，显著提升了信息的检索效率和对话的连贯性。

关键设计：在模型设计中，采用了微调的小型语言模型以降低计算成本，同时在注意力机制中引入了交叉注意力信号，以更好地识别和利用重要记忆。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

G-Long在多个基准测试中表现出色，响应质量在MSC上提升了9.8%，而在LME上的检索召回率提升高达40.8%。这些结果表明，G-Long不仅在性能上超越了现有方法，同时也显著降低了计算开销，展示了其在实际应用中的优势。

🎯 应用场景

G-Long的研究成果在开放域对话系统、智能客服、虚拟助手等领域具有广泛的应用潜力。通过提高对话的一致性和响应质量，该框架能够提升用户体验，并在实际应用中降低计算资源的消耗，具有重要的经济价值和社会影响。

📄 摘要（原文）

While Large Language Models (LLMs) have advanced open-domain dialogue systems, maintaining long-term consistency remains a challenge due to inherent limitations in long-context reasoning and the inefficiency of processing extensive raw text. Existing approaches typically rely on either unstructured memory storage, which is prone to information loss, or computationally expensive LLMs that incur high latency. To address these limitations, we propose G-Long, a graph-enhanced framework that utilizes a fine-tuned small Language Model (sLM) for structured triplet extraction and associative retrieval, significantly reducing operational costs. Furthermore, we introduce the novel attention-aware importance scoring mechanism that leverages the intrinsic cross-attention signals of a T5 summarizer to identify salient memories. Extensive experiments across diverse benchmarks demonstrate that G-Long achieves state-of-the-art performance in both response generation and memory retrieval, yielding performance gains of up to 9.8% in response quality on MSC and 40.8% in retrieval recall on LME, while significantly minimizing computational overhead.