Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

📄 arXiv: 2606.31048v1 📥 PDF

作者: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

分类: cs.LG, cs.AI

发布日期: 2026-06-30

备注: 15 pages, 3 figures, 7 tables. Code and data available at https://github.com/TempGaurab/Distillation.John-O-Bryan

💡 一句话要点

提出知识蒸馏方法以提升紧凑模型在数学推理中的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 数学推理 模型压缩 思维链 低秩适应 教育技术 自动化解题

📋 核心要点

  1. 现有的推理模型在处理复杂数学问题时，通常面临模型过大、计算资源消耗高等挑战。
  2. 本研究提出通过知识蒸馏将大型推理模型的知识转移到紧凑模型中，以提高其在数学推理任务中的表现。
  3. 实验结果显示，经过微调的学生模型在竞赛数据集上的平均准确率达到69.43%，较基线模型提升了4.76个百分点。

📝 摘要（中文）

本论文研究了从大型推理模型（DeepSeek-R1）到紧凑学生模型（Qwen2.5-7B）的知识蒸馏。利用2011-2025年约翰·奥布莱恩数学竞赛的历史问题，构建了一个通过双代理框架生成的思维链（CoT）训练语料库。通过在Apple Silicon硬件上使用MLX框架进行低秩适应（LoRA）微调，学生模型在竞赛问题上的准确率从基线的64.67%提升至69.43%。此外，研究还表明，响应长度对数学推理质量有显著影响，准确率随着推理层级的增加而下降。

🔬 方法详解

问题定义：本论文旨在解决大型推理模型与紧凑学生模型之间的知识转移问题，现有方法在模型压缩与推理能力之间存在平衡困难。

核心思路：通过构建思维链（CoT）训练语料库，利用双代理框架进行知识蒸馏，旨在提升紧凑模型的推理能力。

技术框架：整体架构包括数据集构建、模型微调和性能评估三个主要模块。首先，利用历史问题生成训练数据；其次，采用低秩适应（LoRA）技术对学生模型进行微调；最后，通过多次训练验证结果的稳定性。

关键创新：本研究的主要创新在于将思维链训练与低秩适应结合，显著提升了紧凑模型在数学推理任务中的表现，与传统蒸馏方法相比，效果更为显著。

关键设计：在训练过程中，设置了200次迭代的限制，并使用不同的随机种子进行五次独立训练，以评估结果的稳定性。损失函数和模型结构经过精心设计，以适应数学推理的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过知识蒸馏的紧凑学生模型在竞赛数据集上的平均准确率达到69.43%，较基线模型提升了4.76个百分点。同时，该模型在MATH-500基准测试中的准确率为73.1%，显示出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学解题工具。通过提升紧凑模型的推理能力，可以为学生提供更高效的学习支持，推动个性化教育的发展。

📄 摘要（原文）

This paper investigates knowledge distillation from a large reasoning model (DeepSeek-R1) to a compact student model (Qwen2.5-7B). Using historical problems from the John O'Bryan Mathematics Competition at Northern Kentucky University (2011-2025), we build a Chain-of-Thought (CoT) training corpus through a dual-agent framework. The dataset is used to fine-tune the student model with Low-Rank Adaptation (LoRA) on Apple Silicon hardware using the MLX framework. The base Qwen2.5-7B model achieves 64.67% accuracy on competition problems, while the DeepSeek-R1 teacher achieves 91.40%. An initial 1,000-iteration training run revealed severe overfitting, with validation loss reaching a minimum at iteration 200 before rising steadily. Based on this finding, we ran five independent training runs each limited to 200 iterations with varied random seeds to assess result stability. Across these five runs, the fine-tuned student model achieves a mean accuracy of 69.43% (std dev 0.17%) on the competition dataset, a 4.76 percentage-point improvement over the base model, and generalizes to 73.1% (std dev 0.18%) on the MATH-500 benchmark. We further study how response length affects answer quality across six reasoning levels (R1-R6): accuracy declines consistently from 69.43% at R1 (mean 220 words) to 41.9% at R6 (mean 31.2 words), with the two-person speed section most sensitive to token reduction. These results demonstrate that CoT distillation improves compact student models and that response length is a critical factor in mathematical reasoning quality.