The Capability Frontier: Benchmarks Miss 82% of Model Performance
作者: Bradley Fowler, Ryan Smith, Daniel Thi Graviet, William Myers, Joshua Greaves, Narmeen Fatimah Oozeer, Antía García, Philip Quirke, Amirali Abdullah, Fazl Barez, Shriyash Kaustubh Upadhyay
分类: cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出能力前沿以解决LLM评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 能力前沿 性能评估 多模型选择 数据异构性
📋 核心要点
- 现有基准评估方法仅考虑单个模型的单次运行，导致对LLM能力的低估，尤其在多样化数据分布下。
- 本文提出能力前沿的概念，通过对多个模型和生成的最佳选择进行分析，量化模型性能与成本之间的关系。
- 实验结果显示，纠正单模型评估可减少54%错误率，进一步纠正单次运行可提升82%性能，且在85%成本降低下达成最先进准确性。
📝 摘要（中文）
现有基准通常仅报告单个模型在单次运行中的准确性，这系统性地低估了真实世界大型语言模型（LLM）的能力，尤其是在异构数据分布下。为量化这一差距，本文引入了能力前沿的概念，构建了一个帕累托前沿，描述在最佳选择下，各模型和生成的最佳可实现性能。研究表明，纠正单模型评估的偏差可减少54%的错误率，而进一步纠正单次运行的偏差则可提升82%的性能，且在85%的成本降低下，达到了最先进的准确性。这些发现表明，集体LLM能力被显著低估，影响了在数据异构和多领域环境中的评估与部署。
🔬 方法详解
问题定义：本文旨在解决现有基准评估方法低估大型语言模型（LLM）真实能力的问题，尤其是在异构数据分布下，单模型评估和单次运行的偏差导致性能评估不准确。
核心思路：提出能力前沿的概念，通过构建帕累托前沿，综合考虑多个模型和生成的最佳选择，从而更准确地评估模型性能与成本之间的关系。
技术框架：整体架构包括数据收集、模型评估、能力前沿构建和性能比较四个主要模块。首先收集多种模型在不同基准上的表现，然后通过优化选择生成最佳性能。
关键创新：能力前沿的构建是本文的核心创新点，通过纠正单模型评估和单次运行的偏差，提供了更全面的性能评估方法，与传统方法相比，显著提高了评估的准确性。
关键设计：在实验中，采用了多种模型和基准，设置了不同的成本预算，并通过控制概率模拟来分析查询主题的熵对性能差距的影响，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，纠正单模型评估的偏差可减少54%的错误率，进一步纠正单次运行的偏差可提升82%的性能。在85%的成本降低下，达到了最先进的准确性，表明能力前沿的构建显著提高了LLM的评估效果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和多领域数据分析等。通过更准确的模型评估方法，可以在实际应用中更好地选择和部署LLM，提升其在复杂环境中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Existing benchmarks typically report accuracy for a single model on a single run. This systematically understates real-world LLM capabilities, particularly under heterogeneous data distributions: (i) different models get different questions correct according to their specializations, and (ii) given a budget, multiple generations can be sampled and selectively retained. To quantify this gap, we introduce the Capability Frontier: a Pareto frontier over a set of models that characterizes the best achievable performance at each cost level under optimal selection across models and generations (i.e., via an oracle). Our construction corrects for two opposing biases: underestimation from single-model evaluation and overestimation from taking maxima over noisy samples. We study 21 LLMs across 16 widely used benchmarks spanning coding, reasoning, medicine, factuality, instruction following, and agentic tasks, comparing Capability Frontier performance at matched cost to each benchmark's top-performing model. Correcting for single-model evaluation yields a 54% error rate reduction; additionally correcting for single runs yields an 82% improvement, with SOTA accuracy matched at 85% cost reduction. Complementing these empirical results, we use controlled probabilistic simulations to show that higher query topic entropy produces a near-monotonic increase in the performance gap between oracle routing and the best single model. Our findings suggest collective LLM capabilities are substantially underestimated, with implications for evaluation and deployment in data-heterogeneous, multi-domain settings.