Self-Keyed In-Parameter Memorization for External Memory-Free Dialogue Recall in Frozen Language Models

📄 arXiv: 2610.36948v1 📥 PDF

作者: XinYu Piao, Myunghoon Ryu, Joongheon Kim, Jong-Kook Kim

分类: cs.CL, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出自键入参数记忆以解决无外部记忆对话回忆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 语言模型 记忆机制 自键入记忆 无外部存储 参数优化 智能客服

📋 核心要点

  1. 现有语言模型通常依赖外部存储来维护对话内容，但在无外部记忆的环境中，如何有效回忆对话成为挑战。
  2. 本文提出的自键入参数记忆（SKIM）方法，通过生成自身问题并将其存储为检索键，实现了对话内容的内存化。
  3. 在五种语言模型的评估中，SKIM能够成功回忆大部分存储的对话内容，且完全依赖模型参数，无需外部存储。

📝 摘要（中文）

本文研究了在没有外部存储的情况下，如何在语言模型的参数中存储对话内容并进行回忆。提出了一种自键入参数记忆（SKIM）的方法，模型生成自身问题并将其写入参数中作为检索键，以便在后续用户提问时能够准确回忆对话内容。通过对五种语言模型的评估，SKIM能够从模型参数中回忆大部分存储的对话内容，且无需外部存储。

🔬 方法详解

问题定义：本文旨在解决在没有外部记忆的情况下，如何在语言模型中有效存储和回忆对话内容的问题。现有方法通常依赖外部存储，限制了模型的灵活性和独立性。

核心思路：提出的SKIM方法通过让模型生成自身问题并将这些问题作为键存储在参数中，从而实现对话内容的内存化。这种设计使得即使用户提问的方式不同，模型也能找到匹配的问题并回忆相应的内容。

技术框架：SKIM的整体架构包括两个主要阶段：第一阶段是生成问题并将其存储为参数键，第二阶段是根据用户提问从参数中检索相应的对话内容。模型在每个对话轮次中都会生成多个问题，以增强后续提问的匹配能力。

关键创新：SKIM的核心创新在于将对话内容的存储与模型参数直接关联，避免了对外部存储的依赖。这种方法使得模型能够在没有外部记忆的情况下，依然能够有效地回忆对话内容。

关键设计：在SKIM中，模型的参数设计允许动态生成问题，并通过特定的损失函数优化问题与对话内容的匹配度。此外，模型结构经过调整，以支持高效的参数检索和内容回忆。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SKIM在五种语言模型上表现出色，能够从用户提问中成功回忆出大部分存储的对话内容。与传统方法相比，SKIM显著提高了对话回忆的准确性和效率，展示了其在无外部存储环境下的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话系统和人机交互等场景。通过在模型参数中存储对话内容，能够提升对话系统的响应能力和用户体验，减少对外部存储的依赖，具有重要的实际价值和未来影响。

📄 摘要（原文）

A large language model maintains conversational content in an external storage that is outside the model and grows as the dialogue continues. This work assumes an environment where a language model has no external memory and no prior knowledge of the future question or its answer. The motivation is to research whether a dialogue can be stored in the model parameters and later answer a question about it. This work proposes self-keyed in-parameter memorization (SKIM), a closed-form method in which the model generates its own questions about each dialogue turn and writes those questions into its parameters as the keys that later retrieve the turn's content. Generating many varied questions for each turn allows a later user question to match one even when phrased differently, and its answer is recalled from the parameters alone. Evaluated on five language models, SKIM recalls most stored dialogue turns from later user questions, and it answers from the model parameters without any external storage.