Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought

📄 arXiv: 2610.41769v1 📥 PDF

作者: Dicong Yu, Wenhua Wang, Tian Wang

分类: cs.CL

发布日期: 2026-10-30

备注: 15 pages, 7 figures, including appendices

💡 一句话要点

提出Stepwise Querying以解决推理蒸馏中的信息缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理蒸馏 中间推导 教师模型 学生模型 监督微调 数学基准 代码基准 信息增益

📋 核心要点

  1. 现有的推理蒸馏方法在黑箱设置下无法获取教师的中间推理过程，限制了推理监督的有效性。
  2. 提出Stepwise Querying，通过独立查询获取教师的中间推导和有效性检查，避免了对教师内部推理链的依赖。
  3. 在数学和代码基准上进行的实验表明，该方法在16个比较中有14个超越了基线，显示出显著的性能提升。

📝 摘要（中文）

推理蒸馏广泛用于将大型语言模型的推理能力转移到较小的学生模型中。然而，在黑箱设置下，教师可能仅提供最终答案和简要解决方案，导致中间计算和有效性条件不可用，从而限制了可用于蒸馏的推理监督。本文提出Stepwise Querying，通过独立查询同一教师请求中间推导、有效性检查和个别步骤的修正，而无需访问教师的内部推理链。通过将组装的解决方案用于标准监督微调，我们的方法在14个比较中超过了三个基线，展示了其有效性。我们还引入了Stepwise Explanation Information Gain (SEIG)，用于诊断基于学生在逐步和全局解释下正确步骤完成概率的对数比。

🔬 方法详解

问题定义：本文旨在解决在黑箱设置下推理蒸馏过程中教师提供的信息不足的问题。现有方法通常只能获取最终答案，缺乏中间推理步骤的支持，限制了学生模型的学习效果。

核心思路：论文提出的Stepwise Querying方法通过独立查询教师，获取每个推理步骤的详细解释，包括中间推导和有效性检查。这种设计使得学生模型能够在没有教师内部推理链的情况下，依然获得有效的推理监督。

技术框架：整体流程包括三个主要阶段：首先，向教师发出独立查询以获取每个步骤的推导；其次，收集和组装这些中间结果；最后，利用组装的解决方案进行标准的监督微调。

关键创新：最重要的创新点在于通过独立查询获取中间推理步骤，而不依赖于教师的完整推理链。这一方法显著提升了推理蒸馏的有效性，克服了传统方法的局限性。

关键设计：在实验中，使用了Stepwise Explanation Information Gain (SEIG)作为诊断工具，评估学生模型在逐步和全局解释下的表现。此外，实验设计中对比了不同教师和学生模型的表现，确保了结果的可靠性和有效性。

📊 实验亮点

实验结果显示，Stepwise Querying方法在14个比较中超过了三个基线，展现出显著的性能提升，尤其是在数学和代码基准上，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化代码生成等。通过有效的推理蒸馏，学生模型能够更好地学习复杂任务，从而提升其在实际应用中的表现。未来，该方法可能推动更高效的模型训练和推理能力的提升。

📄 摘要（原文）

Reasoning distillation is widely used to transfer the reasoning capabilities of large language models to smaller students through teacher-generated supervision. In the black-box setting, however, teachers may expose only final answers and brief solutions, leaving intermediate calculations and validity conditions unavailable and thus limiting the reasoning supervision available for distillation. We propose Stepwise Querying, which elicits step-specific explanations without requiring access to the teacher's internal chain-of-thought (CoT) traces. Independent queries to the same teacher request intermediate derivations, validity checks, and corrections for individual steps, the assembled solutions are then used for standard supervised fine-tuning. Across two teachers, two students, and four mathematics and code benchmarks, our method achieves the highest score in 14 of 16 comparisons with three baselines. We further introduce Stepwise Explanation Information Gain (SEIG), a diagnostic based on the log-ratio of a frozen student's probabilities of correct step completion under stepwise and global explanations. Analyses on GSM8K show that incorrect-answer trajectories can remain useful when they preserve valid intermediate reasoning, while further decomposition yields limited additional gains.