Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact

📄 arXiv: 2606.16206v1 📥 PDF

作者: Junyi Yao, Zihao Zheng, Baichuan Li

分类: cs.AI, cs.CL, cs.CY, cs.HC

发布日期: 2026-06-15

💡 一句话要点

提出轻量级诊断方法以评估大型语言模型的教育影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 教育影响评估 学习支持 主动学习 基准测试

📋 核心要点

  1. 现有的公共LLM辅导基准未能有效区分学习支持行为与单纯的答案生成，导致教育影响评估不准确。
  2. 本文提出了一种轻量级诊断方法，通过分析解决导向与教学导向的基准表现差距来评估教育影响。
  3. 实验结果显示，八个公开报告的模型在解决与教学的复合评分之间的相关性仅为0.421，且在评估方式变化时排名显著变化。

📝 摘要（中文）

随着大型语言模型（LLM）被越来越多地提议作为教育辅导工具，强大的任务解决能力并不一定意味着更强的学习支持。本文研究了公共LLM辅导基准是否能够区分学习支持行为与单纯的答案生成。我们提出了一种基于解决导向与教学导向基准表现差距的轻量级诊断方法。通过分析公共MathTutorBench排行榜结果，我们发现这两个维度的相关性仅为0.421，并且在从解决到教学的评估中，多个模型的排名发生了显著变化。我们的分析表明，相关行为在基准评分标准中得到了明确编码，尤其是在奖励引导性问题、校准提示和非披露性支架的主动学习环境中。这些发现表明，教育影响评估不应将任务成功视为学习支持的充分代理。

🔬 方法详解

问题定义：本文旨在解决现有公共LLM辅导基准无法有效区分学习支持与答案生成的问题，导致教育影响评估的不准确性。

核心思路：通过提出一种轻量级诊断方法，基于解决导向与教学导向的基准表现差距来评估模型的教育影响，强调学习支持的重要性。

技术框架：整体架构包括数据收集、基准评估、表现分析三个主要模块。首先收集公共MathTutorBench的数据，然后分别评估模型在解决导向和教学导向的表现，最后分析两者之间的差距。

关键创新：最重要的创新点在于提出了将解决导向与教学导向分开报告的评估方法，使得教育影响评估更加准确，避免了将任务成功视为学习支持的误区。

关键设计：在基准评分标准中，明确编码了与学习者自主性相关的行为，特别是在主动学习环境中，设计了奖励引导性问题、校准提示和非披露性支架等关键参数。

📊 实验亮点

实验结果表明，八个公开报告的模型在解决导向与教学导向的复合评分之间的相关性仅为0.421，且在评估方式变化时，多个模型的排名发生了显著变化。这一发现强调了教育影响评估中考虑教学导向的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和在线学习平台。通过更准确的教育影响评估，教育工作者和技术开发者可以更好地理解和优化LLM在学习支持中的作用，从而提升学习效果和学生体验。未来，随着教育技术的不断发展，该方法可能会被广泛应用于各种教育场景中。

📄 摘要（原文）

Large language models are increasingly proposed as educational tutors, yet stronger task-solving ability does not necessarily imply stronger learning support. Motivated by recent calls to measure the social impact of NLP systems in practice, we study whether public LLM tutoring benchmarks distinguish learning-supportive behavior from mere answer production. We propose a lightweight diagnostic based on the gap between solving-oriented and pedagogy-oriented benchmark performance. Using public MathTutorBench leaderboard results, we show that these dimensions are only partially aligned: across eight publicly reported models, the correlation between solving and pedagogy composites is 0.421, and several models shift meaningfully in rank when evaluation moves from solving to pedagogy. We then analyze the public TutorBench sample and show that agency-relevant behaviors are explicitly encoded in benchmark rubrics, especially in active-learning settings that reward guiding questions, calibrated hints, and non-disclosive scaffolding. Together, these findings suggest that educational-impact evaluation should not treat task success as a sufficient proxy for learning support. We argue that public tutoring benchmarks can better support positive-impact evaluation by reporting solving-oriented and pedagogy-oriented scores separately and by making disclosure-sensitive, student-agency-preserving criteria more explicit.