Model Editing at Scale leads to Gradual and Catastrophic Forgetting

📄 arXiv: 2401.07453v4 📥 PDF

作者: Akshat Gupta, Anurag Rao, Gopala Anumanchipalli

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-01-15 (更新: 2024-06-10)

备注: ACL 2024 Findings

💡 一句话要点

提出大规模模型编辑方法以解决遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型编辑 遗忘机制 语言模型 ROME MEMIT 下游任务 可扩展性

📋 核心要点

  1. 现有的模型编辑方法在多次编辑时表现出逐渐遗忘和灾难性遗忘的问题，影响了模型的有效性。
  2. 本文通过评估ROME和MEMIT两种方法，提出了在大规模编辑中考虑遗忘现象的必要性。
  3. 实验结果显示，随着编辑次数的增加，模型的下游任务能力显著下降，强调了现有方法的局限性。

📝 摘要（中文）

在大型语言模型中，编辑知识是一项重要能力，能够纠正预训练期间错误学习的事实并更新新知识。现有的模型编辑技术通常在少量编辑上进行评估，缺乏对多次编辑的实用性分析。本文评估了两种先进的模型编辑方法：ROME和MEMIT，发现随着模型的多次编辑，模型会逐渐遗忘先前编辑的事实及其下游任务能力。遗忘过程分为逐渐遗忘和灾难性遗忘两个阶段，这限制了模型编辑方法的有效性和可扩展性。本文呼吁在开发和评估模型编辑方法时考虑可扩展性。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型中进行多次编辑时出现的遗忘问题。现有方法在处理多个编辑时，模型会逐渐遗忘之前的知识，影响其性能。

核心思路：论文提出在进行模型编辑时，必须考虑到遗忘现象的影响，尤其是逐渐遗忘和灾难性遗忘的两阶段过程，以提高模型编辑的实用性。

技术框架：研究主要围绕ROME和MEMIT两种模型编辑方法进行评估，分析其在多次编辑下的表现。整体流程包括模型的初始编辑、后续编辑及性能评估三个主要阶段。

关键创新：本文的创新在于系统性地分析了模型编辑过程中的遗忘现象，提出了在大规模编辑中必须考虑的遗忘机制，与现有方法的局限性形成鲜明对比。

关键设计：在实验中，设置了不同的编辑次数和内容，使用特定的评估指标来量化模型的遗忘程度和下游任务性能，确保了实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，随着编辑次数的增加，模型在下游任务上的性能显著下降，逐渐遗忘率达到30%以上，灾难性遗忘现象在多次编辑后明显加剧。这些结果强调了现有模型编辑方法在可扩展性方面的不足。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、知识图谱更新和智能问答系统等。通过改进模型编辑技术，可以更有效地维护和更新大型语言模型中的知识，提升其在动态环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Editing knowledge in large language models is an attractive capability to have which allows us to correct incorrectly learnt facts during pre-training, as well as update the model with an ever-growing list of new facts. While existing model editing techniques have shown promise, they are usually evaluated using metrics for reliability, specificity and generalization over one or few edits. We argue that for model editing to have practical utility, we must be able to make multiple edits to the same model. With this in mind, we evaluate the current model editing methods at scale, focusing on two state of the art methods: ROME and MEMIT. We find that as the model is edited sequentially with multiple facts, it continually forgets previously edited facts and the ability to perform downstream tasks. This forgetting happens in two phases -- an initial gradual but progressive forgetting phase followed by abrupt or catastrophic forgetting phase. Both gradual and catastrophic forgetting limit the usefulness of model editing methods at scale -- the former making model editing less effective as multiple edits are made to the model while the latter caps the scalability of such model editing methods. Our analysis also highlights other key limitations of ROME and MEMIT at scale. With our work, we push for the development and evaluation of model editing methods keeping scalability in mind.