CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield
作者: Dohyeon Kwon, Youngjin Park
分类: cs.CL, cs.AI
发布日期: 2026-06-30
备注: 33 pages, 3 figures, 28 tables. Preprint. Figures are native TikZ/pgfplots. Evaluation is loss-based; downstream benchmarks (KMMLU, HAERAE, KoBEST, MMLU) and selection-control ablations (random-15%, top-loss-15%) to appear in a future version
💡 一句话要点
提出CHERRY以提高语言模型训练的计算效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 选择性监督 深度压缩 混合专家 计算效率 自然语言处理 模型训练 参数优化
📋 核心要点
- 现有语言模型训练方法在计算效率和参数利用率上存在不足，尤其是在处理大规模数据时。
- 论文提出通过选择性监督、深度压缩和专家模型融合三种技术来提升语言模型的训练效率。
- 实验结果表明，采用这些技术后，模型在参数数量减少的情况下，性能显著提升，验证了方法的有效性。
📝 摘要（中文）
本研究探讨了三种互补技术以训练计算高效的语言模型。首先，选择性监督和每个标记的效率，通过选择性真实标记训练（SGT）集中监督于约15%的输出标记，从而显著提高了未监督标记的性能。其次，通过递归恢复实现深度压缩，将一个48层的变换器压缩至6层，并通过学习的递归展开恢复其性能。最后，融合多个压缩专家模型作为高效专家的混合（MoEE），在可比的活跃参数下提升了性能。我们在CHERRY-1.8B模型上验证了这些技术，所有可训练参数均来自我们的训练结果。
🔬 方法详解
问题定义：本论文旨在解决现有语言模型训练中的计算效率低和参数利用率不足的问题，尤其是在大规模数据集上训练时的挑战。
核心思路：论文提出通过选择性监督集中于重要标记、深度压缩模型结构以及融合多个压缩模型来提高训练效率和效果。这样的设计旨在最大化有效监督和参数利用。
技术框架：整体架构包括三个主要模块：选择性真实标记训练（SGT）、递归恢复的深度压缩和混合高效专家模型（MoEE）。每个模块相互补充，形成一个高效的训练流程。
关键创新：最重要的技术创新在于通过选择性监督实现的4.5倍每标记效率提升，以及通过递归展开恢复压缩模型性能的能力。这与传统的全监督训练方法形成鲜明对比。
关键设计：在选择性监督中，设置了一个正的梯度耦合系数（gamma-bar = 0.72），在深度压缩中，通过平均相邻层实现了从48层到6层的压缩，并通过学习的递归展开恢复了模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用选择性监督后，未监督标记的性能显著提升，达到了4.5倍的每标记效率。在深度压缩方面，模型参数从48层的1B减少到6层的227M，且性能接近566M的稠密模型，损失值仅相差0.008。此外，2个专家的MoEE模型在损失值上达到了2.789，优于最佳单一压缩模型的2.926。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提高语言模型的计算效率，能够在资源受限的环境中实现更高效的模型训练和推理，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We study three complementary techniques for training compute-efficient language models. (1) Selective supervision and per-token efficiency. Selective Ground Truth Token Training (SGT) concentrates supervision on the ~15% of output tokens that carry semantic payload. Through positive gradient coupling in position-shared transformer weights -- a token-level instance of auxiliary-task transfer -- the remaining 85% of unsupervised tokens still improve substantially, giving a 4.5x per-supervised-token efficiency (at the step-100 eval optimum, ~67% of the full-sequence loss reduction is recovered from 15% of the supervision). We prove that this improvement on unsupervised tokens is guaranteed whenever the gradient coupling coefficient gamma-bar = 0.72 is positive (Theorem 1), and show the effect is a property of natural-language structure: it collapses on shuffled text. (2) Depth compression with recurrent recovery. A 48-layer, 1B-parameter transformer is compressed to 6 layers (227M) by averaging adjacent layers and restored through learned recurrent unrolling. With 34 effective recurrent layers it reaches a held-out loss of 2.934, within measurement noise of a 566M dense model at 2.926 -- a 2.5x reduction in parameters. (3) Fusion of compressed experts. Assembling several compressed models as a Mixture of Efficient Experts (MoEE) with multi-token prediction improves over each single expert at comparable active parameters: a 2-expert MoEE reaches loss 2.789 versus 2.926 for the best single compressed model. We validate these techniques on CHERRY-1.8B, a Korean foundation model whose every trainable parameter derives from our own training runs. We are explicit throughout about the scope of the evidence (one model family, Korean data, loss-based metrics) and about which claims are established versus prospective.