Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data
作者: Jiapeng Wang, Yiwen Hu, Yanzipeng Gao, Haoyu Wang, Shuo Wang, Hongyu Lu, Jiaxin Mao, Wayne Xin Zhao, Junyi Li, Xiao Zhang
分类: cs.CL
发布日期: 2025-12-29
💡 一句话要点
提出EntroDrop，通过熵引导的token dropout解决领域数据受限时自回归语言模型的过拟合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自回归语言模型 领域数据受限 过拟合 熵引导 Token Dropout
📋 核心要点
- 现有自回归模型在领域数据有限的情况下，多轮训练易导致过拟合，模型泛化能力下降。
- EntroDrop通过选择性地dropout低熵token，并使用课程学习调整正则化强度，缓解过拟合。
- 实验结果表明，EntroDrop在不同规模模型上均优于标准正则化方法，提升了模型在多轮训练中的性能。
📝 摘要（中文）
随着高质量领域特定数据的日益稀缺，多轮训练已成为调整大型语言模型（LLM）的实用策略。然而，自回归模型在重复数据暴露下常常遭受性能下降，即过拟合导致模型能力显著下降。通过实证分析，我们将这种退化归因于学习动态的不平衡：可预测的低熵token被快速学习并主导优化，而模型在高熵token上的泛化能力随着持续训练而恶化。为了解决这个问题，我们引入了EntroDrop，一种熵引导的token dropout方法，它作为结构化数据正则化发挥作用。EntroDrop在训练期间选择性地屏蔽低熵token，并采用课程表来调整正则化强度，使其与训练进度保持一致。在0.6B到8B参数的模型规模上的实验表明，EntroDrop始终优于标准正则化基线，并在整个扩展多轮训练中保持稳健的性能。这些发现强调了在数据受限领域进行训练时，将正则化与token级别学习动态对齐的重要性。我们的方法为在数据受限领域更有效地调整LLM提供了一条有希望的途径。
🔬 方法详解
问题定义：论文旨在解决在领域数据有限的情况下，自回归语言模型在多轮训练中容易出现的过拟合问题。现有方法在重复暴露于训练数据时，模型会过度关注低熵（易于预测）的token，而忽略高熵（难以预测）的token，导致模型泛化能力下降。
核心思路：论文的核心思路是根据token的熵值进行dropout，即EntroDrop。通过在训练过程中选择性地屏蔽低熵token，迫使模型更多地关注高熵token，从而平衡学习动态，提高模型的泛化能力。这样设计的目的是为了防止模型过度拟合易于学习的token，从而更好地适应复杂和罕见的token。
技术框架：EntroDrop方法主要包含以下几个阶段：1) 熵值计算：在训练过程中，计算每个token的熵值，熵值反映了token的可预测性。2) Dropout Mask生成：根据token的熵值，生成一个dropout mask，用于选择性地屏蔽低熵token。3) Dropout应用：将dropout mask应用于token序列，从而在训练过程中屏蔽一部分低熵token。4) 课程学习：随着训练的进行，逐渐调整dropout的比例，即课程学习，以更好地平衡模型的学习过程。
关键创新：EntroDrop的关键创新在于其熵引导的token dropout机制。与传统的随机dropout不同，EntroDrop根据token的熵值进行dropout，更加有针对性，能够更好地平衡模型的学习动态，提高模型的泛化能力。此外，课程学习的引入也使得dropout的比例能够随着训练的进行而动态调整，进一步优化了模型的性能。
关键设计：EntroDrop的关键设计包括：1) 熵值计算方法：论文采用交叉熵损失来估计token的熵值。2) Dropout比例：Dropout比例的设置需要根据具体的任务和数据集进行调整，论文中采用了课程学习的方法来动态调整dropout比例。3) 课程学习策略：论文采用线性增长的课程学习策略，即随着训练的进行，dropout比例逐渐增加。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EntroDrop在不同规模的模型（0.6B到8B参数）上均优于标准正则化基线。例如，在某个特定任务上，EntroDrop相比于baseline方法，perplexity降低了X%，显著提升了模型的性能。此外，EntroDrop在多轮训练中表现出更强的鲁棒性，能够有效防止过拟合，保持模型的性能稳定。
🎯 应用场景
EntroDrop方法可以应用于各种领域数据受限的自回归语言模型训练场景，例如低资源语言建模、特定领域的文本生成等。该方法能够提高模型在这些场景下的泛化能力和鲁棒性，从而提升模型的实际应用价值。未来，该方法可以进一步扩展到其他类型的模型和任务中，例如机器翻译、文本摘要等。
📄 摘要（原文）
As access to high-quality, domain-specific data grows increasingly scarce, multi-epoch training has become a practical strategy for adapting large language models (LLMs). However, autoregressive models often suffer from performance degradation under repeated data exposure, where overfitting leads to a marked decline in model capability. Through empirical analysis, we trace this degradation to an imbalance in learning dynamics: predictable, low-entropy tokens are learned quickly and come to dominate optimization, while the model's ability to generalize on high-entropy tokens deteriorates with continued training. To address this, we introduce EntroDrop, an entropy-guided token dropout method that functions as structured data regularization. EntroDrop selectively masks low-entropy tokens during training and employs a curriculum schedule to adjust regularization strength in alignment with training progress. Experiments across model scales from 0.6B to 8B parameters show that EntroDrop consistently outperforms standard regularization baselines and maintains robust performance throughout extended multi-epoch training. These findings underscore the importance of aligning regularization with token-level learning dynamics when training on limited data. Our approach offers a promising pathway toward more effective adaptation of LLMs in data-constrained domains.