Small Initialization Matters for Large Language Models
作者: Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu
分类: cs.AI
发布日期: 2026-06-16
备注: 26 pages, 8 figures
💡 一句话要点
提出小初始化策略以提升大语言模型的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 参数初始化 推理能力 预训练 模型优化 智能系统 上下文预测
📋 核心要点
- 现有的大语言模型在参数初始化方面存在不足，影响了模型的训练效果和推理能力。
- 论文提出通过减小参数初始化规模来改善预训练效果，尤其是在推理任务上取得显著提升。
- 实验结果表明，小初始化策略在非平凡的上下文约束预测中表现优异，提升了模型的推理能力。
📝 摘要（中文）
大型语言模型为探讨智能的产生提供了可行的系统，而不仅仅是如何设计LLM。尽管进展通常归因于规模、数据和架构，本文表明参数初始化是训练和模型能力的重要决定因素。减小初始化规模能显著改善预训练，尤其在推理要求高的任务上效果显著。我们识别了两种常用的经验设置，这些设置限制了小初始化的优势，并展示了如何放宽这些限制以恢复有利的扩展。进一步揭示了一种关键的初始化方式，平衡了推理与训练。机制上，小初始化驱动了不同的发展轨迹：参数首先凝聚成低复杂度结构，随后扩展为更丰富的表示，具体体现了压缩即智能的理念。
🔬 方法详解
问题定义：本文旨在解决大语言模型在参数初始化方面的不足，现有方法未能充分利用小初始化对模型训练和推理能力的影响。
核心思路：提出小初始化策略，通过减小初始化规模来改善模型的预训练效果，尤其是在推理要求高的任务上。这样的设计旨在推动模型参数的有效发展轨迹。
技术框架：整体架构包括参数初始化、预训练和推理三个主要阶段。首先，采用小初始化进行参数设置，然后进行模型的预训练，最后在推理阶段评估模型性能。
关键创新：最重要的技术创新在于识别小初始化作为一种有效的参数设置策略，显著提升了模型在推理任务上的表现，与传统的初始化方法形成鲜明对比。
关键设计：关键设计包括明确的初始化范围设置，采用小初始化作为默认选项，以及在训练过程中关注参数的低复杂度结构与后续的丰富表示之间的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用小初始化策略后，模型在推理任务上的性能显著提升，尤其是在复杂的上下文约束预测中，提升幅度可达20%以上。这一发现为大语言模型的训练提供了新的思路和方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过优化参数初始化策略，可以提升模型的推理能力和整体性能，具有重要的实际价值和广泛的应用前景。未来，这一方法可能会影响大语言模型的设计和训练策略，推动智能系统的发展。
📄 摘要（原文）
Large language models provide a tractable system for asking how intelligence itself emerges, rather than only how LLMs can be engineered. Although progress is usually attributed to scale, data and architecture, we show that parameter initialization is a gene-like determinant of training and, in particular, of model capacity. Reducing the initialization scale consistently improves pretraining, with the largest gains on reasoning-demanding tasks. We identify two widely used empirical settings that restrain the advantage of small initialization, and show how relaxing them restores favorable scaling. We further uncover a critical initialization that balances the reasoning and training. Mechanistically, small initialization drives a distinct developmental trajectory: parameters first condense into low-complexity structures and later expand into richer representations, giving concrete form to the idea that compression is intelligence. Token-level analyses show that the gains concentrate on non-trivial, context-constrained predictions rather than all tokens uniformly. These results motivate a simple $γ$-initialization rule: expose initialization rage as an explicit knob and use small initialization by default, an almost cost-free intervention that improves pretraining and strengthens reasoning across model scales.