Diffract: Spectral View of LLM Domain Adaptation
作者: Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko
分类: cs.LG
发布日期: 2026-08-11
备注: Accepted at ICML 2026. Code: https://github.com/Risk-AI-Research/diffract
💡 一句话要点
提出Diffract工具以优化大语言模型领域适应性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续预训练 领域适应 奇异值分解 注意力机制 模型优化 开源工具
📋 核心要点
- 现有的大语言模型在特定领域的适应性不足，尤其是在数学、代码等专业领域的表现不佳。
- 论文提出通过持续预训练（CPT）和奇异值分解技术来优化模型的领域适应性，重点关注奇异向量的变化。
- 实验结果显示，选择性回滚低重要性注意力头可使基准准确率提高最多4%，且领域连接性分析提供了平滑的领域质量插值。
📝 摘要（中文）
本研究探讨了持续预训练（CPT）作为将通用大语言模型适应于特定领域（如数学、指令、代码和自然文本）的机制。通过对权重矩阵的奇异值分解，我们发现CPT在很大程度上保持了奇异值谱的不变性，适应主要由奇异向量的变化驱动。对注意力头投影矩阵的分析揭示了强烈的领域依赖性头异质性，我们利用这一点定义了头重要性标准：最多可去除60%的头更新而不会显著降低质量。选择性地将低重要性头回滚至预训练状态，基准准确率提高了最多4%。最后，我们识别了领域连接性——在CPT检查点之间进行线性插值可实现平滑的领域质量插值，而不会对任一领域造成显著降级，并发布了开源工具包Diffract，用于对十亿参数模型进行可扩展的谱分析。
🔬 方法详解
问题定义：本研究旨在解决通用大语言模型在特定领域（如数学、代码等）适应性不足的问题。现有方法在领域适应时，往往未能有效利用模型的潜在结构特征，导致性能提升有限。
核心思路：论文的核心思路是通过持续预训练（CPT）和奇异值分解，分析模型权重的变化，特别是奇异向量的变化，以实现更有效的领域适应。通过识别和利用注意力头的重要性，优化模型的更新过程。
技术框架：整体架构包括持续预训练阶段、奇异值分解分析、注意力头重要性评估及选择性回滚机制。主要模块包括权重矩阵的奇异值分解、注意力头投影矩阵的分析，以及基于重要性标准的头更新策略。
关键创新：最重要的技术创新点在于提出了头重要性标准，使得在不显著降低模型质量的情况下，可以去除多达60%的头更新。这一方法与现有的全量更新策略形成鲜明对比，显著提高了效率。
关键设计：在参数设置上，采用了奇异值分解来评估权重矩阵的变化，损失函数设计上注重保持模型的领域适应性，同时在网络结构上强调了注意力头的异质性，以便更好地捕捉领域特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，选择性回滚低重要性头的策略使基准准确率提高了最多4%，而且在领域连接性分析中，线性插值方法实现了平滑的领域质量插值，未出现显著降级。这些结果展示了该方法在提升模型性能方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、编程辅助、专业文档生成等。通过优化大语言模型在特定领域的适应性，可以显著提升这些领域的自动化水平和用户体验，未来可能在智能助手、自动化教学等方面产生深远影响。
📄 摘要（原文）
We study continual pre-training (CPT) as a mechanism for adapting general-purpose large language models to specialized domains: mathematics, instruction, code, and natural text. Using singular value decomposition of weight matrices, we find that CPT leaves singular value spectra largely invariant, with adaptation driven mainly by changes in singular vectors. An analysis of attention-head projection matrices reveals strong, domain-dependent head heterogeneity, which we exploit to define a head importance criterion: up to 60% of head updates can be removed without measurable quality loss. Selectively rewinding low-importance heads to their pre-trained state improves benchmark accuracy by up to 4% versus the fully trained baseline. Finally, we identify domain connectivity - linear interpolation between CPT checkpoints yields smooth domain-quality interpolation without notable degradation on either domain - and release Diffract, an open-source toolkit for scalable spectral analysis of billion-parameter models.