From Self-Confidence to Statistical Accuracy: Scaling Human-in-the-Loop Evaluation with Direct and LLM-Assisted Auditing

📄 arXiv: 2610.35698v1 📥 PDF

作者: Harine Choi, Chenchen Kuai, Zihao Li, Jiwan Jiang, Yunlong Zhang, Zhiwen Fan, Zhengzhong Tu, Yang Zhou

分类: cs.CL

发布日期: 2026-10-26

备注: 21 pages, 8 figures. Reproduction artifacts available at https://github.com/harinechoi/confidence-auditing-reproduction

💡 一句话要点

提出统一统计框架以提升人机协作评估效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多模态学习 自信度校准 统计审计 人机协作

📋 核心要点

  1. 现有方法中，模型报告的自信度常常误校准，影响评估的准确性和效率。
  2. 本文提出统一的统计框架，结合信心分层抽样和LLM辅助评估，提升审计效率。
  3. 实验结果显示，比例分配在不平衡自信度下显著降低估计误差，验证了方法的有效性。

📝 摘要（中文）

对于大型语言模型（LLMs）和多模态大型语言模型（MLLMs），模型报告的自信度往往存在误校准，但仍可用于高效评估。本文开发了一个统一的统计框架，支持直接审计和LLM辅助审计两种评估方式。通过信心分层抽样，直接审计能够从部分验证的输出中恢复总体准确性，而无需校准的自信度。实验结果表明，在高度不平衡的自信度分布下，比例分配显著降低了估计误差，且LLM辅助评估的自动推理成本可能限制潜在节省。研究澄清了信心导向审计和自动验证的统计及经济条件。

🔬 方法详解

问题定义：本文旨在解决大型语言模型自信度误校准导致的评估效率低下问题。现有方法在直接审计和LLM辅助审计中存在统计不准确和成本高的问题。

核心思路：论文提出的核心思路是通过信心分层抽样和误差校正估计，提升审计的统计有效性和经济性。设计上考虑了自信度的分布特性，以优化审计过程。

技术框架：整体架构包括两个主要模块：直接审计模块和LLM辅助评估模块。直接审计模块使用信心分层抽样来恢复总体准确性，而LLM辅助模块则通过建模敏感性和假阳性率来进行误差校正。

关键创新：最重要的技术创新在于提出了信心分层抽样的使用，能够在不需要校准自信度的情况下进行有效的统计审计。这与传统方法的依赖于校准自信度的方式有本质区别。

关键设计：在设计中，采用了比例分配策略来优化标签分配，并通过敏感性和假阳性率的建模来提升LLM辅助评估的准确性。

📊 实验亮点

实验结果表明，在MMLU-Pro和MMMU-Pro数据集上，采用比例分配的审计方法相较于均匀分配显著降低了估计误差，提升幅度达到XX%。此外，LLM辅助评估的有效性在特定条件下得到了验证，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估、自动化审核系统以及人机协作的智能决策支持。通过提升审计效率和准确性，能够在实际应用中降低成本，提高系统的可靠性和用户信任度。

📄 摘要（原文）

For large language models (LLMs) and multimodal large language models (MLLMs), model-reported self-confidence is often miscalibrated, yet it may still be useful for efficient evaluation. At the same time, LLM-as-a-judge offers a scalable alternative to direct human auditing, but its practical benefit depends on calibration quality and inference cost. This paper develops a unified statistical framework for both evaluation routes under alternative sampling strategies. For direct auditing, confidence-stratified sampling is used to recover population accuracy from partially verified outputs without requiring calibrated confidence. Finite-sample uncertainty is characterized, and the analysis shows how highly uneven confidence strata affect audit efficiency and label allocation. For judge-assisted evaluation, the judge is modeled through sensitivity and false-positive rate, yielding an error-corrected estimator with calibration uncertainty. The two routes are then compared through human-label and total-cost efficiency boundaries. Experiments on MMLU-Pro and MMMU-Pro show that miscalibrated self-confidence can still support statistically valid stratified auditing. Under highly imbalanced confidence distributions, proportional allocation substantially reduces estimation error relative to equal-per-stratum allocation. For judge-assisted evaluation, only a small subset of target--verifier pairs satisfies the idealized human-label efficiency condition, and automated inference costs can further limit potential savings. These findings clarify the statistical and economic conditions under which confidence-guided auditing and automated verification are useful.