Train What You Deploy: Closing the MLP Reachability Gap in Low-Rank Clone Distillation

📄 arXiv: 2609.02006v1 📥 PDF

作者: Wenhui Chen, Zhifeng Li, Jie Zhou, Navan Preet Singh, Madalina Ciobanu, Chenghua Wang, Qingqing Mao, Ritankar Das

分类: cs.LG, cs.CL

发布日期: 2026-09-02

💡 一句话要点

提出低秩克隆蒸馏以解决MLP可达性差距问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低秩克隆 蒸馏训练 多层感知机 模型压缩 深度学习

📋 核心要点

  1. 现有的低秩克隆蒸馏方法在推理和训练之间存在可达性差距，导致大量模型容量未被有效利用。
  2. 本文提出通过Dense-LRC和CORE-LRC两种实现方式，使训练目标为整个部署矩阵，从而解决可达性问题。
  3. 实验结果表明，所提方法在多个教师模型上均实现了显著的性能提升，尤其在宽度最大的教师模型上表现尤为突出。

📝 摘要（中文）

本文展示了在低秩克隆（LRC）蒸馏中，压缩学生模型的推理权重与训练权重家族之间的差异。研究表明，LRC方法在推理时使用全宽度的学生多层感知机（MLP），但训练却局限于教师引导的切片，导致62.5-81.4%的独立线性自由度无法达到。为了解决这一问题，本文提出了“训练你所部署”的原则，通过Dense-LRC和CORE-LRC两种可合并实现，使训练目标为整个部署矩阵，从而恢复被遗弃的容量。实验结果显示，所提方法在多个教师模型上均取得了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决低秩克隆蒸馏中，压缩学生模型的推理权重与训练权重家族之间的可达性差距。现有方法在推理时使用全宽度的学生MLP，但训练却局限于教师引导的切片，导致大量独立线性自由度无法被训练。

核心思路：论文提出“训练你所部署”的原则，旨在使训练目标为整个部署矩阵，而不改变部署形状、参数数量或推理FLOPs。通过Dense-LRC和CORE-LRC两种可合并实现，恢复被遗弃的容量。

技术框架：整体架构包括两个主要模块：Dense-LRC和CORE-LRC。两者均从相同的LRC热启动开始，训练目标为整个部署矩阵，确保在推理时的形状和参数数量不变。

关键创新：最重要的技术创新在于将训练目标扩展至整个部署矩阵，从而恢复了被遗弃的容量。这一设计与现有方法的本质区别在于不再局限于教师引导的切片。

关键设计：在参数设置上，采用了与LRC相同的初始权重，并通过合并实现来优化训练过程。损失函数设计上，确保训练过程能够有效利用整个部署矩阵的容量，而不是仅限于部分切片。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提Dense-LRC和CORE-LRC方法在多个教师模型上均取得了显著的性能提升，尤其在宽度最大的教师模型Qwen上，达到了原始配方在10B tokens时的约20B-token准确率，提升幅度达到+10.45 Avg9。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要模型压缩和高效推理的场景。通过优化蒸馏过程，可以在保持模型性能的同时，显著降低计算资源消耗，提升实际应用的效率和可行性。

📄 摘要（原文）

A compressed student has two shapes that need not agree: the weight it deploys at inference and the weight family its training can reach. We show that a state-of-the-art weight-inheritance distiller, Low-Rank Clone (LRC), deploys a full-width student MLP but ties training to a teacher-induced slice, leaving 62.5-81.4% of each deployed matrix's independent linear degrees of freedom unreachable-paid for at inference, never trainable. Our principle is one line: train what you deploy. From the identical LRC warm start, we make the training object the entire deployed matrix, with no change in deployed shape, deployed parameter count, or inference FLOPs, via two mergeable realizations (Dense-LRC and CORE-LRC) that both collapse to one deployed weight. This recovers stranded capacity: taking the stronger realization per teacher, +2.36/+2.71/+10.45 Avg9 over matched-budget plain-LRC baselines across three teachers (Llama3.2-3B, Llama3.1-8B, Qwen2.5-3B), with the largest gain on the widest teacher (Qwen), where it reaches the original recipe's approx. 20B-token accuracy at 10B tokens (2x token efficiency); there the strictly same-lineage arm still recovers +6.39, the fully controlled figure. Controls strongly support attributing the gain to the enlarged reachable set, rather than to added parameters or the recipe. From approx. 10B distillation tokens plus a short SFT, a half-parameter 1.5B student matches its approx. 9T-token teacher's 9-task macro-average, within evaluation noise and with a residual MMLU deficit, and a 2.7B student beats Meta's own official compression of Llama3.1-8B at ~900x fewer compression tokens (a token count under unmatched recipes, not a compute claim). All results are from single-seed runs on the LRC backbone.