Below the Noise Floor: Bimodal Seed Collapse and Distinct Failure Modes in Small-Model Knowledge Distillation

📄 arXiv: 2608.27729v1 📥 PDF

作者: Dipto Sumit, Sakib Ul Haque, Farig Sadeque

分类: cs.CL

发布日期: 2026-08-27

💡 一句话要点

提出双模种子崩溃机制以解决小模型知识蒸馏中的失败模式问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 小模型 双模崩溃 医疗API 种子变异性 模型评估 函数路由

📋 核心要点

  1. 现有知识蒸馏方法在小模型中通常依赖单一种子评估，无法揭示种子变异性对模型性能的影响。
  2. 论文提出了在多种子设置下评估知识蒸馏的必要性，特别是针对医疗API路由任务中的双模崩溃现象。
  3. 实验结果表明，传统的单种子评估无法捕捉到模型的关键失败模式，影响了知识蒸馏的有效性。

📝 摘要（中文）

函数路由是从固定目录中根据自然语言请求选择正确API调用的部署问题。本文在740个实例的医疗API路由任务中，比较了八种知识蒸馏(KD)变体与监督交叉熵的表现，发现每个种子的标准差范围从2.8到48.7个百分点，吞噬了所有声称的KD增益。研究还发现三种KD变体表现出双模崩溃，且崩溃模式具有明显的特征，部分变体在多种种子下表现不佳。最终，只有progressive_kd和rank_kd在观察到的种子中避免了崩溃，显示出该领域的单种子评估无法检测到小模型KD中的中心失败模式。

🔬 方法详解

问题定义：本文旨在解决小模型知识蒸馏中由于单一种子评估导致的性能不稳定问题，现有方法未能充分考虑种子变异性对模型效果的影响。

核心思路：通过在多个种子下进行知识蒸馏评估，揭示模型在不同种子下的表现差异，特别是双模崩溃现象的影响。

技术框架：研究设计了一个740实例的医疗API路由任务，使用1.5B的学生模型和20B的教师模型，比较了八种KD变体与监督交叉熵的表现，重点分析了种子对模型性能的影响。

关键创新：提出了双模崩溃的概念，识别出不同的崩溃模式，包括错误函数选择和输出截断，显著丰富了知识蒸馏的研究视角。

关键设计：在实验中，使用了三到六个种子进行关键配置的评估，发现progressive_kd和rank_kd在所有观察到的种子中表现稳定，且标准差小于3.9个百分点。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，三种KD变体出现双模崩溃，部分种子准确率低于55%。而progressive_kd和rank_kd在所有观察到的种子中均未出现崩溃，且标准差小于3.9个百分点，表明其在小模型知识蒸馏中的优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗信息系统、智能客服和自动化API调用等场景。通过提高小模型在实际应用中的稳定性和准确性，能够有效提升用户体验和系统效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Function routing -- selecting the correct API call from a fixed catalog given a natural-language request -- is a deployment problem where small students are attractive but knowledge distillation gains are typically reported single-seed, at scales where seed variance is unknown. On a 740-instance healthcare API routing task with a 1.5B Qwen student and a 20B teacher, we compare eight KD variants against supervised cross-entropy, using three to six seeds for key configurations. We find: (i) per-seed standard deviation ranges from 2.8 to 48.7 percentage points, swallowing every claimed KD gain below five points; (ii) three of seven KD variants exhibit bimodal collapse, with at least one in three to five seeds falling below 55% accuracy while the others train normally, and a fourth showing elevated variance; (iii) collapse has distinct modes -- wrong-function selection for ce_kd and ce_paraphrase, and a previously undocumented output-truncation mode for reasoning_kd, where the model emits reasoning but terminates before producing a function name (0.9% accuracy); (iv) only progressive_kd and rank_kd avoid collapse across observed seeds, with sigma <= 3.9 pp; (v) a naive cross-split +3.78 pp gain from input enrichment reverses to -2.70 pp under controlled within-split multi-seed re-testing. Single-seed evaluation is therefore unable to detect central failure modes in small-model KD.