A Training-Free Large Reasoning Model-based Knowledge Tracing Framework for Unified Prediction and Prescription

📄 arXiv: 2601.01708v1 📥 PDF

作者: Unggi Lee, Joo Young Kim, Ran Ju, Minyoung Jung, Jeyeon Eo

分类: cs.CL

发布日期: 2026-01-05

💡 一句话要点

提出Thinking-KT：基于无训练大模型推理的知识追踪统一框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识追踪 大型语言模型 测试时缩放 无训练学习 个性化学习 智能辅导系统 推理 统一框架

📋 核心要点

  1. 现有知识追踪方法依赖微调LLM，性能不稳定且资源消耗大，同时反馈和推荐流程复杂。
  2. Thinking-KT框架通过测试时缩放(TTS)赋能小型LLM，实现无需训练的知识追踪。
  3. 该框架能统一进行知识追踪预测、个性化反馈和学习推荐，并保持预测精度。

📝 摘要（中文）

知识追踪(KT)旨在根据学习者的互动历史估计其不断发展的掌握程度。最近的研究探索了使用大型语言模型(LLM)进行KT，但这些方法通常需要微调，并且表现出不稳定或接近随机的性能。此外，先前的KT系统主要关注预测，并依赖于多阶段流程进行反馈和推荐，从而增加了系统复杂性和资源消耗。为了解决这个问题，我们提出了Thinking-KT，一个无需训练的KT框架，它结合了测试时缩放(TTS)，使即使是小型LLM也能实现有竞争力的KT性能。此外，在这个框架中，小型LLM可以在不降低预测准确性的情况下，以统一的输出联合执行KT预测、个性化反馈生成和学习推荐。除了性能之外，我们还对KT中的推理轨迹进行了系统分析。我们的结果表明，TTS是基于LLM的KT中一个关键但未被充分探索的因素，并且小型LLM可以作为统一的ITS引擎。

🔬 方法详解

问题定义：论文旨在解决现有知识追踪系统依赖微调大型语言模型（LLM）所带来的问题，包括性能不稳定、需要大量计算资源以及反馈和推荐流程复杂等。现有方法通常需要针对特定数据集进行微调，泛化能力有限，且难以同时提供预测、反馈和推荐等功能。

核心思路：论文的核心思路是利用小型LLM的推理能力，并通过测试时缩放（TTS）技术来提升其在知识追踪任务中的性能。TTS允许在推理阶段调整LLM的输出概率分布，从而提高预测的准确性和可靠性。此外，该框架旨在将预测、反馈和推荐整合到一个统一的输出中，简化流程并提高效率。

技术框架：Thinking-KT框架主要包含以下几个阶段：1) 输入处理：将学习者的互动历史（例如，问题ID、答案、时间戳等）转化为LLM可以理解的文本格式。2) LLM推理：使用小型LLM对学习者的知识状态进行推理，并生成包含预测、反馈和推荐的统一输出。3) 测试时缩放（TTS）：应用TTS技术调整LLM的输出概率分布，以提高预测的准确性。4) 输出解析：将LLM的输出解析为结构化的预测结果、个性化反馈和学习推荐。

关键创新：该论文的关键创新在于：1) 提出了一个无需训练的知识追踪框架，避免了微调LLM的计算成本和不稳定问题。2) 引入了测试时缩放（TTS）技术，显著提升了小型LLM在知识追踪任务中的性能。3) 设计了一个统一的输出格式，将预测、反馈和推荐整合到一个流程中，简化了系统架构。

关键设计：TTS的具体实现方式未知，论文中可能没有详细描述。关键在于如何有效地调整LLM的输出概率分布，以提高预测的准确性和可靠性。统一输出格式的设计需要仔细考虑如何将预测结果、个性化反馈和学习推荐有效地整合到一个文本序列中，以便于后续的解析和应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文实验结果表明，通过引入测试时缩放(TTS)技术，小型LLM在知识追踪任务中可以达到与微调大型LLM相媲美的性能。具体性能数据未知，但论文强调TTS是提升LLM在KT任务中表现的关键因素，并且小型LLM可以作为统一的智能辅导系统引擎。

🎯 应用场景

该研究成果可应用于在线教育平台、自适应学习系统和个性化辅导机器人等领域。通过Thinking-KT框架，可以更准确地评估学生的知识掌握程度，提供个性化的学习反馈和推荐，从而提高学习效率和效果。该框架的无需训练特性使其易于部署和维护，具有广泛的应用前景。

📄 摘要（原文）

Knowledge Tracing (KT) aims to estimate a learner's evolving mastery based on interaction histories. Recent studies have explored Large Language Models (LLMs) for KT via autoregressive nature, but such approaches typically require fine-tuning and exhibit unstable or near-random performance. Moreover, prior KT systems primarily focus on prediction and rely on multi-stage pipelines for feedback and recommendation, resulting in increased system complexity and resources. To address this gap, we propose Thinking-KT, a training-free KT framework that incorporates Test-Time Scaling (TTS), enabling even small LLMs to achieve competitive KT performance. Moreover, in this framework, a small LLM can jointly perform KT prediction, personalized feedback generation, and learning recommendation in a unified output without degrading prediction accuracy. Beyond performance, we present the systematic analysis of reasoning traces in KT. Our results demonstrate that TTS is a critical yet underexplored factor in LLM-based KT, and that small LLMs can serve as unified ITS engines.