Can Scale Save Us From Plasticity Loss in Large Language Models?

📄 arXiv: 2606.24752v1 📥 PDF

作者: J. Fernando Hernandez-Garcia, Tomás Figliolia, Beren Millidge

分类: cs.AI

发布日期: 2026-06-23

💡 一句话要点

研究表明规模无法完全解决大语言模型的可塑性损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可塑性损失 持续学习 大语言模型 变换器模型 多语言处理 模型规模 学习能力 自然语言处理

📋 核心要点

  1. 可塑性损失是持续学习中的核心问题，现有大语言模型在处理新旧信息时表现出显著的学习能力下降。
  2. 论文通过对多语言持续学习问题的研究，探讨了可塑性损失在现代变换器模型中的表现及其规律。
  3. 实验结果显示，模型规模与可塑性损失之间存在亚线性关系，且在静态多语言训练中也观察到了可塑性损失现象。

📝 摘要（中文）

可塑性损失是指神经网络在学习新信息后，无法有效保留旧信息的能力，这在持续学习中是一个重要挑战。尽管这一现象已被研究多年，但主要集中在较小的架构上，鲜有针对自然语言领域的研究。本文探讨了在现代基于变换器的大语言模型中，是否仍然存在可塑性损失的问题。研究发现，模型规模从500万到3.14亿非嵌入参数的GPT风格变换器模型均表现出可塑性损失，且这一损失遵循可预测的规模法则，随着模型规模的增加而亚线性增长。结果表明，尽管更大的模型可能延缓可塑性损失的可测量影响，但单纯增加参数数量并不足以完全防止这一现象。

🔬 方法详解

问题定义：本文旨在解决大语言模型在持续学习中出现的可塑性损失问题。现有方法主要集中在小规模模型上，缺乏对现代大规模模型的深入研究。

核心思路：研究通过分析GPT风格的变换器模型在多语言持续学习任务中的表现，探讨可塑性损失的发生机制及其与模型规模的关系。

技术框架：研究采用了多语言持续学习的设置，评估不同规模的变换器模型在特定任务上的表现，重点关注可塑性损失的测量。

关键创新：论文发现可塑性损失遵循可预测的规模法则，且这一现象在静态训练中也存在，挑战了以往认为可塑性损失仅限于任务突变的观点。

关键设计：研究中使用了多种规模的变换器模型，参数范围从500万到3.14亿，采用越南语探测任务作为评估标准，分析模型在不同训练条件下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有规模的模型均出现可塑性损失，且这一损失与模型规模呈亚线性关系。具体而言，在越南语探测任务中，模型的表现随着参数数量的增加而有所改善，但无法完全消除可塑性损失的影响。

🎯 应用场景

该研究的结果对自然语言处理领域的持续学习具有重要的理论和实践意义。理解可塑性损失的机制可以帮助设计更有效的学习算法，从而提高大语言模型在动态环境中的适应能力，推动智能系统的进步。

📄 摘要（原文）

The loss of plasticity - the ability of a network to learn new information after having already learned older information - is a fundamental challenge in creating artificial neural networks capable of continual learning. Although this phenomenon has been known for decades, it has mostly been studied in older, relatively small architectures and rarely in natural-language domains. To determine whether loss of plasticity remains a problem in the modern transformer-based LLM paradigm, we study plasticity loss in GPT-style Transformer models trained on a multilingual continual learning problem. Consistent with prior work, we find evidence of plasticity loss across models ranging from 5M to 314M non-embedding parameters, as measured by deterioration on a held-out Vietnamese probing task. We further find that the onset of plasticity loss follows a predictable scaling law, growing sublinearly with model size. These results suggest that larger models may delay the measurable effects of plasticity loss, but that increasing parameter count alone is likely to be insufficient to completely prevent it. We also find evidence of plasticity loss under stationary multilingual training, challenging the view that the phenomenon is exclusive to continual learning with abrupt task changes. Overall, our results suggest that even large Transformer language models trained on natural-language will eventually lose the ability to efficiently adapt to new data after sufficiently long training, in both continual and stationary settings.