Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training
作者: Jingwei Zuo, Cong Zeng, Ilyas Chahed, Maksim Velikanov, Dhia Eddine Rhaiem, Pasquale Balsebre, Abhay Kumar, Younes Belkada, Hakim Hacid
分类: cs.LG, cs.CL
发布日期: 2026-07-06
备注: Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil
💡 一句话要点
提出记忆引导的数据重用方法以提高LLM训练效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 数据重用 记忆引导 训练效率 深度学习
📋 核心要点
- 现有的大型语言模型训练方法在数据重用上存在不足，容易导致过拟合和收益递减。
- 论文提出了一种记忆引导的数据重用方法，通过分析模型的记忆窗口信号来优化数据重用策略。
- 初步实验结果显示，该方法在重复训练中能够持续提升模型性能，超出传统的四轮训练限制。
📝 摘要（中文）
大型语言模型的训练模式已从传统的单次训练转变为多轮训练，合理重用有限的高质量数据可以提高模型性能和样本效率。然而，过度重复会引入过拟合和收益递减的风险。因此，如何有效重用数据成为一个自然但未被充分探索的问题。本文通过对模型“记忆窗口”信号的创新观察，提出了“记忆引导的数据重用”训练范式，能够自适应地确定何时以及如何重用数据，从而为训练轮次和数据重放调度提供原则性决策。初步实验表明，记忆驱动的训练机制能够在重复训练中持续提升性能，超越当前的实践限制。
🔬 方法详解
问题定义：本文旨在解决大型语言模型训练中数据重用的有效性问题。现有方法往往忽视了数据重用的时机和方式，导致过度训练和性能下降的风险。
核心思路：提出“记忆引导的数据重用”方法，通过分析模型的记忆窗口信号，动态调整数据重用策略，以实现更高效的训练。
技术框架：整体架构包括数据重用决策模块和训练调度模块。数据重用决策模块根据模型的损失保持动态调整重用数据的时机，而训练调度模块则负责管理训练轮次和数据重放的安排。
关键创新：最重要的创新在于引入了记忆窗口信号的概念，通过对损失保持动态和下游评估分数的分析，提出了一种新的数据重用策略，与传统的固定轮次训练方法形成鲜明对比。
关键设计：在参数设置上，模型的重用预算和训练轮次是动态调整的，损失函数设计上强调了记忆保持的动态性，确保模型在训练过程中能够有效利用历史数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用记忆引导的数据重用方法后，模型性能在多轮训练中持续提升，超出传统四轮训练的限制，具体提升幅度未知。这一发现为未来的训练调度提供了新的思路。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化训练过程，能够在有限的数据资源下提升模型性能，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更智能的训练策略，减少对大规模数据集的依赖。
📄 摘要（原文）
The training paradigm of large language models has shifted from traditional one-pass training to multi-epoch training, as reasonable reuse of limited high-quality data can improve both model performance and sample efficiency. Meanwhile, excessive repetition introduces the risk of overfitting and diminishing returns. Determining when and how to reuse data effectively thus emerges as a natural but under-explored question. Through a novel observation of model's "Memorization Window" signals derived from loss retention dynamics and downstream evaluation scores, we propose "Memorization-guided Data Reuse", a training paradigm that adaptively determines when and how data should be reused, enabling principled decisions on the number of training epochs and the scheduling of data replays. Our preliminary experiments reveal a consistent memorization-driven regime: performance continues to improve with repetition far beyond current practice (e.g., the commonly cited four-epoch limit). While a full scheduler remains future work, these insights provide a foundation for memorization-aware training schedules, helping to determine reuse budgets and move toward training LLMs smarter rather than longer with limited high-quality data.