Scaling Domain Data Repetition in LLM Pretraining
作者: Jingwei Li, Xinran Gu, Rui Dai, Xintong Hao, Chengyin Xu, Yan Wu, Shuran Zheng, Jingzhao Zhang
分类: cs.AI
发布日期: 2026-08-14
💡 一句话要点
提出重复高质量领域数据以优化LLM预训练效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 高质量数据 训练优化 重复策略 验证损失
📋 核心要点
- 核心问题：高质量领域数据在LLM预训练中的比例随着模型规模的增加而下降，导致训练效果不佳。
- 方法要点：通过研究重复高质量数据的最佳次数，提出在不同模型规模下的重复策略，以优化训练效果。
- 实验或效果：发现最佳重复次数与验证损失呈负相关，且在小型代理模型上调优的重复次数可为大型模型提供有效估计。
📝 摘要（中文）
随着大型语言模型（LLM）的规模扩大，其训练令牌预算也必须增加，以维持适当的每参数令牌比率（TPP）。然而，高质量领域数据的扩展远比一般网络数据困难。随着模型规模和训练令牌预算的增加，高质量数据在训练混合中的比例往往会下降。通过重复可用的高质量数据来对抗这种稀释是有效的，但过度重复可能导致过拟合。本文研究了这一权衡，发现对于固定领域，在固定TPP下，最佳重复次数随着模型规模的增加而轻微增加。不同领域的研究表明，最佳重复次数与最终验证损失呈强负相关，损失较低的领域通常可以从更多的重复中受益。
🔬 方法详解
问题定义：本文旨在解决在大型语言模型预训练中，高质量领域数据比例下降导致的训练效果不佳问题。现有方法在处理高质量数据的扩展时面临挑战，尤其是在模型规模增大时。
核心思路：论文提出通过重复已有的高质量领域数据来对抗数据稀释现象，探索最佳重复次数与模型规模之间的关系，以优化训练效果。
技术框架：研究首先在固定TPP下，分析模型规模与最佳重复次数的关系。接着，比较不同领域的验证损失，评估重复次数的影响。
关键创新：最重要的创新在于发现最佳重复次数与最终验证损失之间的强负相关性，这一发现为领域数据的重复策略提供了新的视角。与现有方法相比，本文强调了在不同模型规模下的重复次数调优。
关键设计：研究中采用了固定TPP的设置，通过实验确定最佳重复次数，并分析了不同领域的损失情况，提出了基于小型代理模型的重复次数估计方法。该方法在参数设置和损失函数设计上具有一定的灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在固定TPP下，最佳重复次数随着模型规模的增加而轻微增加。不同领域的验证损失与最佳重复次数呈强负相关，损失较低的领域能够从更多的重复中获益。这一发现为模型训练提供了新的优化策略。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化高质量领域数据的重复策略，可以显著提升大型语言模型在特定任务上的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
As large language models scale, their training-token budgets must also increase to maintain an appropriate tokens-per-parameter ratio ((\mathrm{TPP})). However, high-quality domain data is much harder to scale than general web data. As model size and the training-token budget increase, its fraction in the training mixture tends to decrease. Repeating the available high-quality data provides an effective way to counteract this dilution, but excessive repetition may lead to overfitting. We study this trade-off under practical LLM scaling, where the training-token budget grows proportionally with model size. For a fixed domain, we first find that, surprisingly at a fixed (\mathrm{TPP}), the optimal repetition count mildly increases with model size. Across different domains, we find that the optimal repetition count is strongly negatively correlated with the final validation loss of a domain: domains with lower loss can generally benefit from more repetitions. In contrast, the amount of unique domain data is only weakly related to the optimal repetition count. These findings suggest that repetition counts tuned on smaller proxy models with the same (\mathrm{TPP}) can provide a practical estimate for larger models.