Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework

📄 arXiv: 2607.01581v1 📥 PDF

作者: Minghao Chen, Ruihan Zhou, Jiayi Tang, Zihan Xu, Bowen Huang, Yuxin Liu

分类: cs.CL

发布日期: 2026-07-02

备注: 22 pages

💡 一句话要点

提出自适应教学警觉框架以优化LLMs的教学意图推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 教学意图推理 自适应教学警觉 贝叶斯推理 教育技术 智能辅导系统 个性化学习

📋 核心要点

  1. 现有方法在教育领域，特别是翻译教学中，未能充分挖掘LLMs的教学意图推理能力，导致教学效果不佳。
  2. 本文提出自适应教学警觉框架（APV），通过贝叶斯推理优化学习过程，帮助学习者推断教师的教学意图。
  3. 实验结果表明，APV显著提升了模型的教学警觉性，尤其在区分教学内容与曝光内容方面表现优异，相关性高达0.958。

📝 摘要（中文）

大型语言模型（LLMs）在教学交流中的教学意图推理能力尚未得到充分探索，尤其是在翻译教学等教育领域。为此，本文提出了自适应教学警觉（APV）框架，这是一种新颖的计算形式，重新定义了教学警觉为一种适应性机制，以优化学习效果。APV通过贝叶斯教学意图推理引擎（PIIE）形式化问题，模拟教师如何选择内容以最大化教学效用，以及学习者如何反向推理潜在的教学配置。通过对领先的LLMs（如GPT-4o、Claude 3.5）的实验，APV显著提高了模型的警觉性，能够有效区分教学内容与曝光内容，并与人类判断高度相关（$r=0.958$），在自然数据上保持稳健的表现。该研究为评估和增强LLMs对教学动机的理解建立了统一框架，推动了更可靠的AI辅助学习系统的发展。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在教学意图推理方面的不足，尤其是在教育领域的应用中，现有方法无法有效区分教学内容与其他类型内容，导致学习效果不理想。

核心思路：提出自适应教学警觉框架（APV），将教学警觉视为一种适应性机制，通过贝叶斯推理帮助学习者推断教师的教学意图，从而优化学习过程。

技术框架：APV框架包含三个主要模块：1）贝叶斯教学意图推理引擎（PIIE），用于建模教师的内容选择；2）学习者的反向推理机制，帮助其理解潜在的教学配置；3）评估模块，通过三层次的实验验证框架的有效性。

关键创新：APV的核心创新在于将教学警觉重新定义为一种适应性机制，并通过贝叶斯推理实现教学意图的推断，这与传统方法的静态分析形成鲜明对比。

关键设计：在设计上，APV采用了特定的损失函数以优化推理准确性，并通过调整模型参数来提高其在自然数据上的表现，确保在多种教学场景下的适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，APV显著提高了模型的教学警觉性，尤其在区分教学内容与曝光内容方面，相关性高达0.958。此外，APV在自然数据上的表现优于基线方法，展现出更强的鲁棒性和适应性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和在线学习平台。通过增强LLMs对教学意图的理解，APV框架可以帮助开发更智能的教育工具，提升学习者的学习体验和效果，未来可能在个性化学习和教育评估中发挥重要作用。

📄 摘要（原文）

The capacity of Large Language Models (LLMs) to reason about pedagogical intent within instructional communication remains underexplored, particularly in educational domains such as translation pedagogy. To address this, we propose the \textbf{Adaptive Pedagogical Vigilance (APV)} framework, a novel computational formalism that reframes communicative vigilance as an adaptive mechanism for optimizing learning through intent inference. APV formalizes the problem via a Bayesian Pedagogical Intent Inference Engine (PIIE), which models how instructors select content to maximize pedagogical utility and how vigilant learners should inversely reason about latent instructional configurations -- encompassing genre, stance, and incentives. We evaluate APV through a three-tier hierarchy: distinguishing instructional genre, reasoning about structured pedagogical setups, and generalizing to authentic educational discourse. Experiments on leading LLMs (e.g., GPT-4o, Claude 3.5) show that APV substantially improves model vigilance. It achieves the strongest discrimination between pedagogical and exposure-based content, correlates highly with human judgments ($r=0.958$), and maintains robust performance on naturalistic data where baseline methods degrade. This work establishes a unified framework for assessing and enhancing LLMs' understanding of pedagogical motives, advancing the development of more reliable AI-assisted learning systems.