Pre-carved Niches: The Formation Dynamics of Modular Task Partitions in Early LLM Training
作者: Guangqi Li, Yongxin Li
分类: cs.LG
发布日期: 2026-09-01
备注: 17 pages, 7 figures, 2 tables. Step-by-step training-dynamics study of modular task partitions in a from-scratch Pythia-410M model
💡 一句话要点
提出模块化任务划分动态形成机制以优化大语言模型训练
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 模块化结构 训练动态 梯度分析 任务划分 学习过程 Pythia-410M 认知领域
📋 核心要点
- 现有研究主要集中在已训练模型的特征分析，缺乏对模型训练过程中模块化结构形成的动态理解。
- 本文通过逐步训练Pythia-410M模型，结合多种指标，系统分析模块化任务划分的形成过程。
- 实验结果表明，模块化映射在学习前已存在，并通过两次显著跃迁锁定，且学习过程中的梯度剥夺现象未影响权重更新。
📝 摘要（中文）
大型语言模型展现出类似人脑功能网络的模块化内部组织，但其形成过程尚不明确。本文通过逐步训练Pythia-410M模型，结合梯度、权重等多种指标，探讨模块化结构的形成动态。研究发现，模块化映射在学习前已初步形成，并通过两次显著跃迁锁定分区，且学习过程中的梯度相对剥夺现象并未传播至权重更新。最后，研究提出了特征级别的解释与机制性问题的区分，并为后续实验预注册了规模阈值假设。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在训练过程中模块化结构的形成动态，现有方法多集中于模型训练后的特征分析，缺乏对形成过程的深入理解。
核心思路：通过逐步训练Pythia-410M模型，结合梯度、权重和损失分解等多种指标，系统分析模块化任务划分的形成过程，揭示其动态特征。
技术框架：研究采用两条训练轨迹（bf16和fp32），在每个训练步骤进行归因补丁分析，并监测梯度范数、有效更新、权重范数和损失分解，涵盖14个任务和四个认知领域。
关键创新：发现模块化映射在学习前已初步形成，并通过两次显著跃迁锁定分区，且学习过程中的梯度相对剥夺现象未传播至权重更新，这一发现与现有研究的静态分析形成鲜明对比。
关键设计：实验中采用了多种指标监测，包括梯度相对剥夺（赢家与输家的梯度供应比为2.25至2.73倍），并在特定任务领域观察到偏离现象，支持模块化与学习的关联假设。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模块化映射在学习前已存在，且通过两次显著跃迁锁定分区，第二次跃迁达到20.4 sigma的安静窗口，显示出学习过程中的梯度相对剥夺现象，赢家的梯度供应比输家高出2.25至2.73倍，显著优于随机控制组。
🎯 应用场景
该研究为理解大型语言模型的训练过程提供了新的视角，尤其是在模块化结构的形成与学习之间的关系。未来可应用于优化模型训练策略，提高模型的学习效率和性能，尤其在多任务学习和迁移学习等领域具有潜在价值。
📄 摘要（原文）
Large language models exhibit a modular internal organization that mirrors well-studied functional networks of the human brain, but how this organization forms during training is unknown: prior work has characterized finished models, not the formation process. We track formation step by step: we train a Pythia-410M model from scratch (two trajectories, bf16 and fp32) and run attribution patching at every step, alongside probes for gradient norms, effective updates, weight norms, and first-order loss decomposition across 14 tasks in four cognitive domains. Three findings. First, the modular map is pre-carved: before any learning, the dominant task pair already overlaps at ~3.6x the attribution substrate (a task-independent baseline), and its layer-0 concentration is an architecture-level constant on this model family. Second, the partition locks in through two sharp jumps whose amplitudes do not track the learning-rate schedule (the second reaching 20.4 sigma quiet-window / 6.2 sigma global), accompanied by gradient-level relative deprivation--winners receive 2.25->2.73x the loser's gradient supply, 9.5-11.5 standard deviations below a random control--that does not propagate to updates or weights. Third, deviation from the substrate appears only in the domain being learned, consistent with the hypothesis that modularity tracks learning. We close by separating the feature-level account we can defend from the mechanistic questions we cannot, and we pre-register the scale-threshold hypothesis behind our ongoing 2.8B experiments.