ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
作者: Ruxi Gu, Zhenliang Zhang, Wei Wang
分类: cs.CL, cs.AI
发布日期: 2026-07-29
备注: 9 pages, 4 figures
💡 一句话要点
提出ForgetBench以系统评估语言模型的遗忘动态
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 知识保留 遗忘动态 评估基准 知识编辑 自然语言处理 机器学习
📋 核心要点
- 现有评估方法未能有效捕捉语言模型在持续知识编辑中的遗忘动态，导致对模型记忆能力的理解不足。
- 提出ForgetBench基准，通过基于概念和场景的问答评估范式，系统性分析语言模型的遗忘行为。
- 实验结果显示，现有方法在长期知识保留与泛化质量之间存在显著矛盾，强调了改进记忆机制的必要性。
📝 摘要（中文）
大型语言模型（LLMs）在知识获取和推理方面表现出色，但其在多次更新下保留先前知识的能力尚未得到充分理解。现有评估方法主要集中于单步推理或静态知识编辑，无法捕捉知识保留和退化的时间动态。本文提出ForgetBench，一个旨在系统性表征LLMs在持续知识编辑下遗忘行为的基准。ForgetBench引入了基于概念的问答和基于场景的问答两种互补的评估范式，以区分孤立事实保留与结构化关系知识的保存。通过构建时间顺序的知识流，我们在多个编辑阶段评估模型行为，并引入统一评估框架以量化长期保留动态，测量时间衰减、保留强度和跨实例稳定性。实验结果表明，现有方法在长期保留与泛化质量之间难以取得平衡，强调了未来LLMs需要更强大的记忆机制。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在持续知识编辑过程中遗忘动态的评估问题。现有方法主要关注单步推理或静态知识编辑，无法反映知识的时间演变和保留情况。
核心思路：ForgetBench通过引入基于概念和场景的问答评估范式，系统性地分析和表征语言模型的遗忘行为，旨在揭示知识保留与退化的动态过程。
技术框架：整体架构包括构建时间顺序的知识流和多个编辑阶段的评估。通过统一评估框架，模型在不同时间点的知识演变被量化，涵盖时间衰减、保留强度和跨实例稳定性等指标。
关键创新：ForgetBench的主要创新在于其双重评估范式，能够有效区分孤立事实与结构化知识的保留，填补了现有评估方法的空白。
关键设计：在设计中，采用了时间序列的知识流构建方法，结合多阶段编辑策略，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ForgetBench能够有效评估语言模型在不同编辑阶段的知识保留能力，发现现有方法在长期保留与泛化质量之间存在显著矛盾，强调了未来研究中改进记忆机制的必要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、知识图谱构建和智能问答系统等。通过改进语言模型的记忆机制，能够提升模型在动态环境中的知识保留能力，从而增强其在实际应用中的表现和可靠性。
📄 摘要（原文）
Large language models (LLMs) have demonstrated strong capabilities in knowledge acquisition and reasoning, yet their ability to retain previously acquired knowledge under repeated updates remains insufficiently understood. Existing evaluation paradigms primarily focus on single-step reasoning or static knowledge editing, which fail to capture the temporal dynamics of knowledge retention and degradation during continual model modification. In this work, we propose ForgetBench, a benchmark designed to systematically characterize forgetting behavior in LLMs under continual knowledge editing. ForgetBench introduces two complementary evaluation paradigms, namely concept-based QA and scenario-based QA, to disentangle isolated factual retention from structured relational knowledge preservation. Building upon a sequential editing framework, we construct temporally ordered knowledge streams and evaluate model behavior across multiple editing stages. To quantitatively analyze long-term retention dynamics, we further introduce a unified evaluation framework that models knowledge evolution over time, enabling the measurement of temporal decay, retention strength, and cross-instance stability. Extensive experiments across diverse models and editing methods demonstrate that existing approaches fail to strike a balance between long-term retention and generalization quality. Our findings highlight the need for more robust memory mechanisms that can effectively acquire, update, and preserve knowledge over time in future LLMs. Code will be released upon acceptance.