When to Review: Spaced Repetition for Continual Pre-Training of Language Models
作者: Alankar Atreya, Devesh Batra, Yoages Kumar Mantri, Geremy Bantug, Greig A Cowan, Raad Khraishi
分类: cs.AI, cs.LG
发布日期: 2026-08-18
💡 一句话要点
提出间隔重复训练以解决语言模型持续预训练中的知识遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 语言模型 知识保留 间隔重复 自适应调度 认知科学 SuperMemo-2 模型优化
📋 核心要点
- 现有的重放方法未能有效处理旧知识与新知识之间的平衡，导致知识遗忘问题严重。
- 本文提出的间隔重复训练（SRT）框架，通过自适应复习调度，优化了样本重演策略，提升了知识保留效果。
- 实验结果表明，SRT在多个模型规模上恢复了显著的旧知识准确率，同时保持了新知识的获取能力。
📝 摘要（中文）
持续预训练大型语言模型必须在获取新信息的同时保留旧知识。现有的重放方法通常采用全局的旧/新样本混合，且均匀采样，忽视了不同示例的遗忘速度差异。本文将持续预训练形式化为自适应复习调度，提出了受认知科学启发的间隔重复训练（SRT）框架，使用SuperMemo-2算法调度样本重演。SRT维护每个示例的复习状态，将每个示例的困惑度映射到回忆质量信号，并在不改变模型、目标和优化器的情况下调度历史示例以保持和新示例以巩固。在分离的维基百科和代码语料库上，SRT改善了稳定性与可塑性的权衡，恢复了5到37个百分点的旧知识准确率，同时保持或提高了新知识的获取。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在持续预训练过程中旧知识遗忘的问题。现有方法通常采用均匀采样的方式，未考虑不同示例的遗忘速度，导致知识保留效果不佳。
核心思路：提出的间隔重复训练（SRT）框架通过自适应复习调度，灵活选择历史示例与新示例的重演策略，旨在提高知识的保留与获取效率。
技术框架：SRT框架包括三个主要模块：1) 维护每个示例的复习状态；2) 将每个示例的困惑度映射为回忆质量信号；3) 根据回忆质量调度历史与新示例的重演。
关键创新：SRT的核心创新在于引入了基于认知科学的复习调度机制，显著改善了传统重放方法在知识保留方面的不足，尤其是在处理旧知识与新知识的平衡时。
关键设计：SRT使用SuperMemo-2算法进行样本调度，关键参数包括复习间隔的动态调整和示例的困惑度计算，确保了复习策略的有效性与适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SRT在多个模型规模上恢复了5到37个百分点的旧知识准确率，相较于传统的持续预训练方法，显著提高了知识保留能力。同时，SRT在新知识获取方面也表现出色，保持或提高了模型的整体性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、教育技术和智能助手等。通过优化语言模型的知识保留能力，SRT可以提升模型在实际应用中的表现，尤其是在需要长期学习和适应新信息的场景中。未来，SRT的调度原则可能扩展到其他领域，如计算机视觉和表格数据分析。
📄 摘要（原文）
Continual pre-training of large language models must acquire new information without erasing old knowledge. Existing replay methods often choose a global old/new mixture and sample uniformly, ignoring that examples differ in how quickly they are forgotten. We formulate continual pre-training as adaptive review scheduling: the training loop should decide not only how much history to replay, but which examples should return at each step. We introduce Spaced Repetition Training (SRT), a continual learning framework inspired by cognitive science, which schedules sample-rehearsal using the SuperMemo-2 (SM-2) algorithm. SRT maintains per-example review state, maps per-example perplexity to a recall-quality signal, and schedules historical examples for retention and new examples for consolidation while leaving the model, objective, and optimizer unchanged. On temporally separated Wikipedia and code corpora, SRT improves the stability-plasticity trade-off, recovering 5 to 37 percentage points of old-knowledge accuracy lost by naive continual pre-training across model scales while preserving or improving new-knowledge acquisition. At larger scale, SRT preserves broad benchmark performance that naive continual pre-training and uniform replay substantially degrade. Experiments with vision and tabular data further suggest that the scheduling principle extends beyond language when paired with an appropriate recall signal.