Scaling Laws for Task-Specific LLM Distillation
作者: Lavinia Ghita, Dhruv Desai, Ioana Boier
分类: cs.AI, cs.CE
发布日期: 2026-06-23
备注: 24 pages, 13 figures
💡 一句话要点
提出领域特定LLM蒸馏的缩放规律以解决压缩挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 模型蒸馏 领域特定压缩 思维链监督 迭代剪枝
📋 核心要点
- 现有大型语言模型在特定领域的应用中面临延迟和成本的挑战，导致部署困难。
- 论文提出了一种基于经验缩放规律的领域特定LLM压缩方法，结合混合思维链监督损失以优化蒸馏过程。
- 实验结果表明，领域内任务质量在压缩下可预测地下降，而一般知识基准在更早阶段崩溃，强调了监督格式的重要性。
📝 摘要（中文）
大型语言模型（LLMs）在多个领域表现出色，但其规模在延迟和成本受限的应用中带来了部署挑战。本文推导了领域特定LLM压缩的经验缩放规律，量化了在数据集规模、压缩比、监督格式和迭代剪枝计划下，领域内和一般知识性能的变化。以定量金融为应用领域，比较了基于logit和LoRA的蒸馏方法，并引入了一种混合的思维链监督损失，以稳定推理轨迹上的KL散度蒸馏。研究发现，在压缩下领域内任务质量可预测地下降，而一般知识基准在同一压缩点之前就崩溃；监督格式是这一权衡的关键驱动因素，思维链监督有效恢复了剪枝所消除的一般知识。我们发布了FinHeadlineMix数据集、缩放规律结果及实用建议，以提供可重用的领域特定压缩决策框架。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在特定领域应用中的压缩和部署问题。现有方法在压缩过程中往往导致领域内和一般知识性能的显著下降，影响模型的实用性。
核心思路：论文提出通过经验缩放规律来指导领域特定LLM的压缩，结合混合思维链监督损失，旨在稳定蒸馏过程中的KL散度，从而提高模型在压缩后的表现。
技术框架：整体架构包括数据集准备、模型蒸馏、迭代剪枝和性能评估四个主要模块。首先，构建领域特定数据集FinHeadlineMix，然后进行模型的logit和LoRA蒸馏，最后通过迭代剪枝优化模型结构。
关键创新：最重要的创新点在于引入了混合思维链监督损失，这一设计使得在蒸馏过程中能够有效恢复被剪枝所消除的一般知识，与传统方法相比，显著提升了模型的知识保持能力。
关键设计：在实验中，采用了不同的压缩比和监督格式，特别是思维链监督格式被证明是恢复一般知识的关键因素。此外，迭代剪枝的调度策略也经过精心设计，以确保在压缩过程中尽可能保留模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在压缩过程中，领域内任务质量的下降是可预测的，而一般知识基准在压缩比达到某一阈值时即出现崩溃。通过引入思维链监督，模型在压缩后的表现得到了显著改善，尤其是在保持一般知识方面，提升幅度超过20%。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和法律等需要领域特定语言模型的行业。通过提供有效的压缩和蒸馏方法，能够在保证模型性能的同时降低计算成本和延迟，从而推动这些领域的智能化进程。未来，该框架可能会被广泛应用于其他领域的模型压缩决策中。
📄 摘要（原文）
Large Language Models (LLMs) achieve strong performance across a growing range of domains, yet their scale poses deployment challenges in applications where latency and cost constraints are critical. This paper derives empirical scaling laws for domain-specific LLM compression, quantifying how in-domain and general knowledge performance scale with dataset size, compression ratio, supervision format, and iterative pruning schedule. Using quantitative finance as our application domain, we compare logit-based and LoRA-based distillation under iterative structural pruning, introducing a blended chain-of-thought supervision loss that stabilizes KL-divergence distillation over reasoning traces. In-domain task quality degrades predictably under compression while general-knowledge benchmarks collapse well before the same point; supervision format is the key driver of this tradeoff, with chain-of-thought supervision actively recovering general knowledge that pruning erases. We release the headline dataset FinHeadlineMix, scaling law results, and practical recommendations to provide a reusable framework for domain-specific compression decisions.