Beyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary Extension
作者: Raviraj Joshi, Utkarsh Vaidya, Sanjay Singh Chauhan, Niranjan Wartikar
分类: cs.CL, cs.LG
发布日期: 2026-08-04
💡 一句话要点
提出多种初始化策略以优化大语言模型词汇扩展
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 词汇扩展 初始化策略 子词组合 印地语处理 继续预训练 模型优化
📋 核心要点
- 现有的词汇扩展方法在新词元嵌入初始化上存在显著不足，影响了模型的继续预训练效率。
- 本文提出了超过20种初始化策略，特别关注子词组合方法，以优化印地语词汇扩展的效果。
- 实验结果表明，最佳初始化配置在验证损失和CPT步骤上均显著优于传统基线，提升效果明显。
📝 摘要（中文）
词汇扩展是将预训练的大语言模型（LLMs）适应新语言的有效方法，但新添加的词元嵌入的初始化对继续预训练（CPT）效率有显著影响。本文系统研究了20多种针对印地语词汇扩展的初始化策略，比较了词汇平均基线、外部和学习的初始化方法等。研究发现，子词组合方法在性能上优于其他方法，且不对称变体在早期验证损失上表现最佳。最佳配置使用均匀的子词平均和印地语特定的规范校准初始化输入嵌入矩阵，输出语言建模头则使用字符长度加权的子词平均。相较于标准基线，该初始化管道在CPT步骤上减少了6倍，并在500步后超越了基线的准确率。
🔬 方法详解
问题定义：本文旨在解决新添加的词元嵌入初始化对大语言模型继续预训练效率的影响。现有方法在初始化策略上缺乏系统性研究，导致模型适应新语言时效率低下。
核心思路：通过系统比较多种初始化策略，特别是子词组合方法，探索其在印地语词汇扩展中的有效性，以提高模型的预训练效率。
技术框架：研究设计了一个包含多种初始化策略的比较框架，涵盖词汇平均基线、外部和学习的初始化方法、子词组合、规范校准等多个模块。
关键创新：最重要的创新在于提出了子词组合方法的有效性，尤其是其不对称变体在早期验证损失上表现最佳，与传统的词汇平均和外部初始化方法相比具有显著优势。
关键设计：最佳配置中，输入嵌入矩阵使用均匀的子词平均和印地语特定的规范校准，输出语言建模头则采用字符长度加权的子词平均，确保了初始化的有效性和模型的快速收敛。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳初始化配置在验证损失上与标准基线相当，但CPT步骤减少超过6倍，并在500步后超越了基线的3,500步MILU-Hindi准确率，证明了新策略的有效性。
🎯 应用场景
该研究的潜在应用领域包括多语言处理、机器翻译和自然语言理解等。通过优化词汇扩展的初始化策略，能够有效提升大语言模型在新语言上的适应能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vocabulary extension is an efficient way to adapt pretrained large language models (LLMs) to new languages, but the initialization of newly added token embeddings can strongly affect continued pre-training (CPT) efficiency. We present a systematic study of more than 20 initialization strategies for Hindi vocabulary extension in Nemotron-3-Nano-30B-A3B. Our comparison spans vocabulary-averaging baselines; external and learned initialization methods, including FOCUS, top-k semantic retrieval, and residual MLP mappings; subword composition; norm calibration; and input-output asymmetry. We find that subword composition methods outperform both vocabulary averaging and external/learned initialization approaches. Within subword composition, asymmetric variants achieve the lowest observed early validation loss and reveal distinct preferences for input and output embedding initialization. The best observed configuration initializes the input embedding matrix with uniform subword averaging and Hindi-specific norm calibration, and the output language modeling head with character-length-weighted subword averaging. Relative to the standard Mean-all baseline, this full initialization pipeline reaches comparable validation loss with over a 6x reduction in CPT steps and exceeds the baseline's 3,500-step MILU-Hindi accuracy after only 500 steps. Finally, we show that initialization loss and initialization bits-per-byte (Init BPB) are unreliable predictors of downstream convergence, whereas lightweight CPT, as few as 50 steps, provides a cost-effective and reliable signal for selecting the best initialization strategy.