Detecting Answer-Driven Reasoning in LLM-Based Educational Tutors via Truncated Chain-of-Thought Auditing

📄 arXiv: 2607.04572v1 📥 PDF

作者: Bonan Shen, Dingyan Shang, Youting Wang, Tao Ning

分类: cs.AI, cs.LG

发布日期: 2026-07-06

💡 一句话要点

提出TRACE方法以解决LLM教育辅导中的答案驱动推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 教育辅导 答案驱动推理 截断推理 智能教育 模型评估

📋 核心要点

  1. 现有的LLM辅导系统在生成解释时，可能无法确保答案是基于学生问题推导的，存在答案驱动推理不足的问题。
  2. 本文提出了截断推理AUC评估（TRACE）方法，通过评估推理链的前缀，验证答案的可用性，从而提升辅导系统的解释质量。
  3. 实验结果显示，使用Qwen2.5-3B-Instruct模型时，答案键的访问使得TRACE AUC中位数从0.375提升至0.900，且在绝大多数情况下，正确答案在解释的前10%内可用。

📝 摘要（中文）

大型语言模型（LLM）辅导系统通常能够生成流畅的逐步解释，但正确且符合教学格式的回答并不保证答案是基于学生面临的问题得出的。本文研究了在真实辅导系统中，模型是否可以利用教师笔记、答案键、评分标准或检索到的解决方案等私有答案信息，使得辅导解释具备答案驱动特性。通过使用截断推理AUC评估（TRACE），我们评估了1000个GSM8K测试问题在三种配对辅导上下文中的表现。实验结果表明，答案键的访问显著提高了TRACE AUC值，并在绝大多数情况下使得正确答案在解释的前10%内可用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）教育辅导系统中，生成的解释未必基于学生问题推导的答案驱动推理不足的问题。现有方法未能有效利用私有答案信息，导致解释质量不高。

核心思路：论文提出了截断推理AUC评估（TRACE）方法，通过分析推理链的前缀，验证答案的可用性，从而提高辅导系统的解释质量。该方法通过强制模型在生成解释的固定比例时立即回答，确保答案的及时性和准确性。

技术框架：整体流程包括三个主要阶段：首先，模型生成解释；其次，在固定比例的解释生成过程中强制模型回答；最后，验证生成的答案与黄金标准答案的匹配度。

关键创新：TRACE方法的核心创新在于其轻量级的过程级诊断能力，能够有效评估答案驱动推理的质量。这一方法与现有的推理评估方法相比，提供了更为直接和有效的答案验证机制。

关键设计：在实验中，使用了Qwen2.5-3B-Instruct模型，并设置了不同的答案键访问条件。通过对1000个GSM8K测试问题的评估，分析了在不同上下文下的TRACE AUC表现，确保了实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用答案键的访问使得TRACE AUC中位数从0.375提升至0.900，且在997个案例中，正确答案在生成的解释的前10%内可用。这一结果显示了TRACE方法在提升教育辅导系统解释质量方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统以及在线学习平台。通过提升LLM辅导系统的答案驱动推理能力，可以显著改善学生的学习体验和效果，未来可能对个性化学习和智能教育的发展产生深远影响。

📄 摘要（原文）

Large language model (LLM) tutors often produce fluent step-by-step explanations, but a correct and pedagogically formatted response does not guarantee that the answer was derived from the student-facing problem. In realistic tutoring systems, the model may also have access to teacher notes, answer keys, rubrics, or retrieved solution artifacts. We study whether such private answer information can make tutor explanations answer-driven: the final answer is behaviorally available before the written explanation has justified it. Using Truncated Reasoning AUC Evaluation (TRACE), which probes how early a chain-of-thought prefix can pass a verifier, we evaluate 1000 GSM8K test problems under three paired tutoring contexts: question-only, correct answer-key, and wrong answer-key. At fixed fractions of each generated explanation, we force the model to answer immediately and verify the response against the gold numeric answer. With Qwen2.5-3B-Instruct, answer-key access raises median TRACE AUC from 0.375 to 0.900 and makes the gold answer available at the first 10% prefix in 997 of 1000 cases. The effect remains strong on the 746 examples where both question-only and answer-key explanations end with the correct answer. These results support truncated CoT auditing as a lightweight process-level diagnostic for answer-driven reasoning in math tutoring explanations.