Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks

📄 arXiv: 2607.25257v1 📥 PDF

作者: Juan Francisco, Mandujano Reyes

分类: stat.AP, cs.AI, cs.LG

发布日期: 2026-07-28

💡 一句话要点

提出Laplace-PSN-IRT以解决神经IRT模型的不确定性量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 项目响应理论 不确定性量化 大型语言模型 贝叶斯推断 Fisher信息 模型比较 统计推断

📋 核心要点

  1. 现有的神经IRT方法主要依赖点估计，导致不确定性量化不足，限制了统计推断的有效性。
  2. 论文提出Laplace-PSN-IRT，通过后处理的拉普拉斯近似实现近似贝叶斯后验推断，从而增强了模型的能力和项目难度的校准。
  3. 实验结果表明，后验期望的Fisher信息在能力范围内更加稳定，能够更准确地恢复基准能力排名，并且在小基准子集上表现良好。

📝 摘要（中文）

项目响应理论（IRT）最近被提出作为评估大型语言模型（LLM）基准的框架，通过将模型的潜在能力与单个基准项目的属性分开。现有的神经IRT方法，包括PSN-IRT，使用点估计来估计这些量，限制了不确定性量化和下游统计推断。我们引入Laplace-PSN-IRT，这是一种后处理的最后一层拉普拉斯近似，增强了训练好的PSN-IRT模型，提供近似贝叶斯后验推断，恢复了模型能力和项目难度的校准不确定性，而无需重新训练。结果后验使得可信区间、模型间的概率比较以及基于Fisher信息的项目选择中的参数不确定性传播成为可能。我们展示了在标准LLM基准排行榜上，12个模型之间的大多数成对比较在统计上并不可区分，尽管点估计排名不同。

🔬 方法详解

问题定义：本论文旨在解决现有神经IRT方法在不确定性量化方面的不足，尤其是点估计导致的统计推断限制。

核心思路：通过引入Laplace-PSN-IRT，利用后处理的拉普拉斯近似来实现近似贝叶斯后验推断，从而在不重新训练模型的情况下恢复校准的不确定性。

技术框架：该方法的整体架构包括训练好的PSN-IRT模型，后处理的拉普拉斯近似模块，以及用于生成后验分布和计算Fisher信息的模块。

关键创新：最重要的创新在于通过拉普拉斯近似实现了对模型能力和项目难度的校准不确定性量化，这与现有方法的点估计方式形成了本质区别。

关键设计：在设计中，模型将项目难度视为随机变量，而将项目区分度视为固定，从而在该架构中产生良好的不确定性校准。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在12个模型的成对比较中，大多数模型在统计上并不可区分，尽管它们的点估计排名不同。此外，后验期望的Fisher信息在能力范围内保持了更高的稳定性，能够更准确地恢复基准能力排名。

🎯 应用场景

该研究的潜在应用领域包括教育测评、心理测量和机器学习模型评估等。通过提供更准确的不确定性量化，Laplace-PSN-IRT可以帮助研究人员和从业者更好地理解和比较不同模型的性能，进而推动相关领域的研究和应用。

📄 摘要（原文）

Item Response Theory (IRT) has recently been proposed as a framework for evaluating large language model (LLM) benchmarks by separating a model's latent ability from the properties of individual benchmark items. Existing neural IRT approaches, including PSN-IRT, estimate these quantities using point estimates, limiting uncertainty quantification and downstream statistical inference. We introduce Laplace-PSN-IRT, a post-hoc last-layer Laplace approximation that augments a trained PSN-IRT model with approximate Bayesian posterior inference, recovering calibrated uncertainty over model ability and item difficulty without retraining. The resulting posterior enables credible intervals, probabilistic comparisons between models, and propagation of parameter uncertainty into Fisher-information-based item selection. We show that most pairwise comparisons among 12 models on a standard LLM benchmark leaderboard are not statistically distinguishable despite differing point-estimate ranks. We further show that point-estimate Fisher information can become nearly zero for many benchmark items because it is evaluated at a single reference ability, whereas posterior-expected Fisher information remains substantially more stable across the ability range. Finally, posterior-expected Fisher information more accurately recovers full-benchmark ability rankings from small benchmark subsets in most experimental settings while matching point-estimate performance for the smallest subsets. We validate the calibration of the approximate posterior using held-out predictive coverage and find that modeling item difficulty as random while treating item discrimination as fixed produces well-calibrated uncertainty in this architecture.