Can Scientific Claims Be Removed from Large Language Models? A Systematic Evaluation of Claim-Level Unlearning
作者: Snigdha Paul, Manasi Patwardhan, Arman Cohan
分类: cs.AI
发布日期: 2026-08-21
备注: EMNLP 2026 Main Conference
💡 一句话要点
提出科学声明遗忘任务以解决语言模型知识过时问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学声明遗忘 机器遗忘 语言模型 知识更新 动态知识管理
📋 核心要点
- 现有的机器遗忘方法主要集中在实例级别的遗忘，难以应对科学声明的相互关联性和动态演变特性。
- 本文提出了科学声明遗忘的任务，并构建了新的基准数据集SciUnlearn，以评估遗忘方法的有效性。
- 实验结果表明，现有的遗忘方法在消除声明级知识方面效果不佳，强调了需要开发专门的结构化知识移除方法。
📝 摘要（中文）
语言模型（LMs）在静态的科学语料库上进行训练，而科学知识则随着修正和修订不断演变。模型中编码的科学声明可能会被后续研究撤回、推翻或更新，从而导致在科学工作流程中传播过时信息的风险。因此，语言模型需要遗忘过时的科学声明。机器遗忘提供了一种有前景的解决方案，能够在保持整体模型效用的同时实现知识的移除。现有研究主要关注实例级遗忘，但科学声明由于其相互关联和不断演变，带来了额外的挑战。为了解决这一问题，本文引入了科学声明遗忘任务，并提出了新的基准数据集SciUnlearn。我们展示了当前的遗忘方法无法有效消除声明级知识，往往只能实现表面的抑制，强调了为结构化知识移除设计专门方法的必要性。
🔬 方法详解
问题定义：本文旨在解决语言模型中科学声明的遗忘问题，现有方法在处理声明级知识时存在效果不佳、仅能实现表面抑制的痛点。
核心思路：论文提出科学声明遗忘任务，通过构建SciUnlearn基准数据集，评估和推动针对科学声明的知识移除方法的发展。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块，重点在于如何有效识别和移除过时的科学声明。
关键创新：最重要的技术创新在于引入了声明级遗忘的概念，并通过SciUnlearn基准数据集提供了评估标准，与现有实例级遗忘方法形成鲜明对比。
关键设计：在模型设计中，采用了特定的损失函数来优化声明的遗忘效果，并在网络结构上进行了调整，以适应科学声明的复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有的遗忘方法在声明级知识移除方面的效果有限，通常只能实现表面抑制。通过SciUnlearn基准数据集的评估，本文强调了开发专门方法的必要性，以实现更深层次的知识移除，提升模型的实用性和准确性。
🎯 应用场景
该研究的潜在应用领域包括科学研究、学术出版和信息检索等。通过有效地移除过时的科学声明，能够提高科学工作流程的准确性和可靠性，减少错误信息的传播，促进科学知识的更新与传播。未来，该方法可能在动态知识更新的各个领域发挥重要作用。
📄 摘要（原文）
Language models (LMs) are trained on static scientific corpora, whereas scientific knowledge continuously evolves through correction and revision. Scientific claims encoded within these models may later become retracted, disproven, or updated by subsequent research, creating the risk of disseminating outdated information in scientific workflows. This creates a need for LMs to forget obsolete scientific claims. Machine unlearning offers a promising solution by enabling knowledge removal while maintaining overall model utility. Existing studies primarily investigate instance-level forgetting; however, scientific claims introduce additional challenges because they are interconnected, and continually evolving. To address this gap, we introduce the task of Scientific Claim Unlearning and present a new benchmark, SciUnlearn. We show that current unlearning approaches are unable to effectively eliminate claim-level knowledge and often achieve only superficial suppression, highlighting the need for specialized methods designed for structured knowledge removal.