From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation

📄 arXiv: 2610.36445v1 📥 PDF

作者: Yashuo Luo, Qianren Mao, Ziqi Qin, Junnan Liu, Haitao Li, Qili Zhang, Yuan Gao, Zhijun Chen, Xu Wang

分类: cs.AI

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出Cognition-Aligned Reasoning Distillation以解决知识蒸馏中的认知不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 推理模型 认知对齐 强化学习 模型优化 逻辑一致性 分布对齐 教育技术

📋 核心要点

  1. 现有的知识蒸馏方法通常直接使用教师模型的原始轨迹，导致小模型学习效果不佳，尤其是在认知能力不匹配的情况下。
  2. 本文提出Cognition-Aligned Reasoning Distillation（CARD），通过将求解器轨迹转化为与学生认知对齐的教学轨迹，来解决上述问题。
  3. 实验结果表明，CARD在多个学生模型和设置中表现优异，尤其在领域内和分布外性能上均有显著提升。

📝 摘要（中文）

从大型推理模型（LRMs）进行知识蒸馏时，通常使用原始教师轨迹作为监督。然而，这种做法导致蒸馏目标与教师轨迹的性质之间存在不匹配。先进的LRMs通常通过奖励驱动的后训练（如RLHF）来提升推理能力，这使得它们更像是强大的求解器，而非能够产生小模型易于学习的推理过程的教师。由于小模型与其较大教师相比具有不同的“认知能力”，直接模仿原始教师轨迹有时效果不佳，且通常需要大量高质量样本。为了解决这一不匹配问题，我们提出了Cognition-Aligned Reasoning Distillation（CARD），这是一个基于RL的框架，将求解器轨迹转化为与学生认知对齐的教学轨迹。我们的框架避免了昂贵的重采样，直接转换现有轨迹。我们用两个奖励信号来优化CARD：分布对齐奖励和逻辑一致性奖励。综合评估表明，CARD在领域内设置中优于从原始教师轨迹的蒸馏，同时在分布外性能上也取得了显著提升。

🔬 方法详解

问题定义：论文要解决的问题是知识蒸馏中教师轨迹与学生模型认知能力之间的匹配问题。现有方法直接使用原始教师轨迹，导致小模型学习效果不佳，且需要大量高质量样本。

核心思路：论文的核心思路是通过Cognition-Aligned Reasoning Distillation（CARD）框架，将求解器轨迹转化为与学生认知对齐的教学轨迹，从而提高蒸馏效果。这样的设计旨在避免重采样的高成本，直接利用现有轨迹进行优化。

技术框架：CARD框架主要包括两个奖励信号的优化：分布对齐奖励（Distribution Alignment Reward）和逻辑一致性奖励（Logical Coherence Reward）。前者用于匹配学生的预测分布，后者则减少误导性的失败推理步骤。

关键创新：CARD的最重要创新在于将求解器轨迹转化为教学轨迹的过程，避免了传统方法中直接模仿原始轨迹的不足。这一方法使得小模型能够更有效地学习推理过程。

关键设计：在设计上，CARD使用了两个奖励信号来引导学习过程，具体的损失函数和网络结构细节在论文中进行了详细描述，确保了优化过程的有效性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，CARD在多个学生模型和设置中均优于传统的原始教师轨迹蒸馏方法。在领域内设置中，CARD的性能提升显著，而在分布外性能上也取得了可观的进步，展示了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化推理工具等。通过优化知识蒸馏过程，CARD能够提升小模型的推理能力，使其在实际应用中更具实用价值，尤其是在资源受限的环境中。未来，CARD可能会影响更多领域的模型训练和知识传递方式。

📄 摘要（原文）

Knowledge distillation from large reasoning models (LRMs) often uses raw teacher trajectories as supervision. However, this practice creates a mismatch between the goal of distillation and the nature of teacher trajectories. Advanced LRMs typically improve their reasoning capabilities through reward-driven post-training, such as RLHF. This training optimizes them as strong solvers, rather than as teachers that produce reasoning processes smaller models can easily learn. Since smaller models have different "cognitive capacities" compared to their larger teachers, directly imitating raw teacher trajectories can sometimes be ineffective and often requires a substantial number of high-quality samples. To bridge this mismatch, we propose Cognition-Aligned Reasoning Distillation (CARD), an RL-based framework that transforms solver trajectories into teaching trajectories aligned with the student's cognition. Avoiding expensive resampling, our framework directly transforms existing trajectories. We optimize CARD with two reward signals: (1) a Distribution Alignment Reward that matches the student's predictive distribution, and (2) a Logical Coherence Reward that reduces misleading failed reasoning steps. Comprehensive evaluations across multiple student models and settings demonstrate that CARD outperforms distillation from raw teacher trajectories in in-domain settings while achieving substantial gains in out-of-distribution performance. Code is available at https://github.com/LiteSSLHub/CARD.