G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

📄 arXiv: 2606.13115v1 📥 PDF

作者: Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

分类: cs.CL, cs.AI

发布日期: 2026-06-11

备注: 22 pages, 8 figures, 14 tables

💡 一句话要点

提出G-Long以解决长时间对话一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间对话 图增强 记忆管理 小型语言模型 注意力机制 响应生成 信息检索

📋 核心要点

  1. 现有方法在长时间对话中面临信息丢失和高延迟的问题，难以保持一致性。
  2. G-Long通过图增强框架和微调的小型语言模型，进行结构化记忆提取和检索，降低了计算成本。
  3. 实验结果显示，G-Long在响应生成和记忆检索上均取得了显著提升，性能优于现有基线。

📝 摘要（中文）

尽管大型语言模型（LLMs）在开放域对话系统中取得了进展，但由于长文本推理的固有限制，保持长期一致性仍然是一个挑战。现有方法通常依赖于非结构化的记忆存储，容易导致信息丢失，或使用计算成本高昂的LLMs，造成高延迟。为了解决这些问题，本文提出了G-Long，一个图增强框架，利用微调的小型语言模型（sLM）进行结构化三元组提取和关联检索，显著降低了操作成本。此外，我们引入了一种新颖的注意力感知重要性评分机制，利用T5摘要模型的内在交叉注意力信号来识别显著记忆。大量实验表明，G-Long在响应生成和记忆检索方面均达到了最先进的性能，在MSC上响应质量提升高达9.8%，在LME上检索召回率提升40.8%，同时显著减少了计算开销。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长时间对话中保持一致性的问题，现有方法面临信息丢失和高延迟的挑战。

核心思路：G-Long通过引入图增强框架和微调的小型语言模型，进行结构化三元组提取和关联检索，以提高效率和准确性。

技术框架：G-Long的整体架构包括三个主要模块：结构化记忆提取模块、关联检索模块和注意力感知重要性评分模块，形成一个闭环的记忆管理系统。

关键创新：引入了注意力感知重要性评分机制，利用T5摘要模型的交叉注意力信号来识别重要记忆，这是与现有方法的本质区别。

关键设计：在模型训练中，采用了特定的损失函数来优化记忆提取的准确性，并对小型语言模型进行了细致的微调，以确保其在特定任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

G-Long在多个基准测试中表现出色，响应生成质量在MSC上提升了9.8%，而在LME上的检索召回率提升高达40.8%。这些结果表明，该方法在性能和效率上均优于现有的对话系统，显著降低了计算开销。

🎯 应用场景

G-Long的研究成果在多个领域具有潜在应用价值，包括智能客服、虚拟助手和社交机器人等。通过提高对话系统的长期一致性和响应质量，该框架可以显著提升用户体验，推动人机交互的进一步发展。未来，G-Long还可能扩展到其他需要长期记忆管理的智能系统中。

📄 摘要（原文）

While Large Language Models (LLMs) have advanced open-domain dialogue systems, maintaining long-term consistency remains a challenge due to inherent limitations in long-context reasoning and the inefficiency of processing extensive raw text. Existing approaches typically rely on either unstructured memory storage, which is prone to information loss, or computationally expensive LLMs that incur high latency. To address these limitations, we propose G-Long, a graph-enhanced framework that utilizes a fine-tuned small Language Model (sLM) for structured triplet extraction and associative retrieval, significantly reducing operational costs. Furthermore, we introduce the novel attention-aware importance scoring mechanism that leverages the intrinsic cross-attention signals of a T5 summarizer to identify salient memories. Extensive experiments across diverse benchmarks demonstrate that G-Long achieves state-of-the-art performance in both response generation and memory retrieval, yielding performance gains of up to 9.8% in response quality on MSC and 40.8% in retrieval recall on LME, while significantly minimizing computational overhead.