Natively Unlearnable Large Language Models
作者: Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan
分类: cs.LG, cs.CL
发布日期: 2026-06-11
💡 一句话要点
提出NULLs以解决大语言模型的源级去学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 去学习 大语言模型 神经网络 数据隐私 模型更新 鲁棒性 共享表示学习
📋 核心要点
- 现有去学习方法难以有效消除特定训练数据源的影响，因不同源的贡献在模型中交织，导致去学习过程复杂。
- 论文提出NULLs模型，通过训练共享主干神经元和稀疏激活的汇聚节点，实现源特定贡献的隔离与跨源的联合学习。
- 实验结果表明，NULLs能够有效去学习特定文章的知识，同时保留与其他相关文章的共享信息，且在性能上与标准变换器相当。
📝 摘要（中文）
去学习旨在消除特定训练数据源的影响，但由于不同源的贡献在模型中交织，这一过程面临挑战。通过训练共享的主干神经元和稀疏激活的汇聚节点，我们提出了NULLs（Natively Unlearnable LLMs），实现了源特定贡献的隔离与跨源的联合学习。在训练过程中，特定源的信息自然集中在其汇聚节点，而跨源共享的信息则积累在主干中。部署时，通过禁用相应的汇聚节点来去学习某个源，无需梯度更新或访问保留数据。我们展示了NULLs能够扩展到维基百科的约600万篇文章，成功隔离每篇文章作为独立源。去学习单篇文章时，能够移除特定知识，同时保留与语义相关的文章共享的事实，效果接近从头再训练。NULLs在去学习过程中表现出强大的鲁棒性，能够抵抗对抗性提取和逆向学习。最后，NULLs在下游基准测试中保持了通用语言能力，表现与标准变换器相当。
🔬 方法详解
问题定义：论文要解决的问题是如何有效去学习特定训练数据源的影响，现有方法因源贡献交织而难以实现有效的去学习。
核心思路：论文的核心思路是通过NULLs模型，训练共享的主干神经元与稀疏激活的汇聚节点，使得源特定信息与共享信息能够自然分离，从而实现去学习。
技术框架：整体架构包括共享主干神经元和多个稀疏激活的汇聚节点。在训练过程中，特定源的信息集中在其对应的汇聚节点，而共享信息则积累在主干中。
关键创新：最重要的技术创新点在于NULLs模型能够在不需要梯度更新和保留数据的情况下，通过禁用汇聚节点实现源级去学习，这与现有方法的本质区别在于去学习过程的高效性和鲁棒性。
关键设计：在设计上，NULLs模型采用了特定的损失函数来优化主干与汇聚节点的学习过程，确保信息的有效分离。同时，汇聚节点的稀疏激活设计使得去学习过程更加灵活和高效。
🖼️ 关键图片
📊 实验亮点
实验结果显示，NULLs能够有效去学习维基百科的600万篇文章中的特定知识，去学习单篇文章时，保留与其他相关文章共享的事实，效果接近从头再训练。此外，在去学习过程中，NULLs表现出强大的鲁棒性，能够抵抗对抗性提取和逆向学习，确保去学习的有效性。
🎯 应用场景
该研究的潜在应用领域包括数据隐私保护、模型更新与维护等。NULLs模型能够在不访问原始数据的情况下，有效去除特定知识，适用于需要频繁更新或去除特定信息的场景，如法律文本、医疗记录等。未来，NULLs可能推动大语言模型在更广泛领域的应用，提升模型的灵活性与安全性。
📄 摘要（原文）
Unlearning aims to remove the influence of specific training data sources, but this has proved challenging because the contributions of different sources are entangled within the model. Isolating source contributions to disjoint parameters makes removal easier, though it obstructs joint learning across sources. We propose NULLs (Natively Unlearnable LLMs), a model class that satisfies the two opposing goals of isolating source-specific contributions and learning jointly across sources, by training a set of shared backbone neurons alongside a pool of sparsely activated sinks. During training, information specific to a source naturally concentrates in its sinks while information shared across sources accumulates in the backbone. A source is then unlearned at deployment by disabling its corresponding sinks, with no gradient updates and no access to the retained data. We show that NULLs scales to Wikipedia's ~6M articles, isolating each as an independent source. Unlearning a single article removes knowledge specific to it while preserving facts shared with semantically related articles, closely matching retraining from scratch. We note that unlearning with NULLs is also robust: in a case study of unlearning the Harry Potter books, NULLs resists both adversarial extraction and relearning that reverses post-hoc unlearning. Finally, NULLs preserves general language capabilities, matching a standard transformer on downstream benchmarks. Together, these results suggest that source-level unlearning need not be an afterthought. It can be built natively into LLM training while retaining the benefits of shared representation learning.