What Aggregate Scores Miss: Measuring Item-Level Regressions in Commercial LLM API Migrations
作者: Xiaonan Xu, Wenjing Wu
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-08-18
备注: 25 pages, 1 figure, 10 tables (including 8 appendix tables)
💡 一句话要点
提出细粒度评估方法以解决LLM API迁移中的评分失真问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 API迁移 细粒度评估 项级回归 性能评估 软件系统
📋 核心要点
- 现有方法依赖汇总分数，无法有效捕捉项级的细微变化，导致迁移决策失真。
- 论文提出了一种细粒度的评估方法，通过对每个基准项进行多次查询，分类其表现以揭示真实变化。
- 实验结果显示，在迁移过程中，可靠的改进和回归项共存，汇总得分可能掩盖重要的项级信息。
📝 摘要（中文）
背景：依赖商业大型语言模型API的软件系统在供应商弃用旧模型时必须迁移到后续版本。迁移决策通常依赖于汇总基准分数，这种方法将异质的项级行为压缩为单一的净值。目标：我们测量这种压缩所隐含的内容。方法：在GPT-5.4到GPT-5.6的三次成对升级中，我们对900个公共基准项进行了50次查询，依据假发现率控制和实际显著性阈值将每个项分类为可靠改进、可靠回归、基本等效或不确定，并将结果与标签置换的零假设进行校准。结果：在所有九个迁移基准单元中，可靠的改进和可靠的回归并存。汇总得分高达7.3个百分点的边缘中包含多达8.3%的可靠回归项，而汇总得分下降的边缘中包含多达10.7%的可靠改进项。结论：仅基于汇总分数的迁移决策会遗漏显著的双向项级变化。完整的响应级档案和每个项的评分输出已发布。
🔬 方法详解
问题定义：论文要解决的问题是现有的迁移决策方法过于依赖汇总分数，导致无法识别项级的细微变化，可能影响软件系统的性能和用户体验。
核心思路：论文的核心思路是通过对每个基准项进行多次查询和分类，揭示在迁移过程中可能被汇总分数掩盖的可靠改进和回归，从而提供更准确的迁移决策依据。
技术框架：整体架构包括三个主要阶段：首先，选择900个公共基准项并对每个项进行50次查询；其次，依据假发现率控制和实际显著性阈值对每个项进行分类；最后，将结果与标签置换的零假设进行校准，以确保结果的可靠性。
关键创新：最重要的技术创新点在于引入了细粒度的项级评估方法，能够同时识别可靠的改进和回归，突破了传统汇总评分的局限性。
关键设计：在实验中，设置了假发现率控制和实际显著性阈值，以确保分类的准确性；同时，采用了标签置换的方法来校准结果，增强了实验的可信度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在九个迁移基准单元中，汇总得分高达7.3个百分点的边缘中，可靠回归项占比高达8.3%；而在汇总得分下降的边缘中，可靠改进项占比可达10.7%。此外，指令跟随基准的严格与宽松评分之间的差距扩大了3.9个百分点，显示出评分标准对结果的显著影响。
🎯 应用场景
该研究的潜在应用领域包括软件系统的版本迁移决策、商业大型语言模型的性能评估以及教育领域的智能评测工具。通过提供更细致的项级反馈，能够帮助开发者和用户更好地理解模型的实际表现，从而做出更明智的决策。
📄 摘要（原文）
Context: Software systems that depend on commercial large language model APIs must migrate to successor versions when vendors deprecate older models. Migration decisions typically rely on aggregate benchmark scores, which compress heterogeneous item-level behaviour into a single net figure. Objective: We measure what that compression conceals. Method: On three pairwise upgrades in the GPT-5.4 to GPT-5.6 Sol product sequence, we query 900 public benchmark items (graduate-level knowledge, olympiad mathematics, instruction following) 50 times per item per model, classify each item as reliably improved, reliably regressed, practically equivalent, or inconclusive under false-discovery-rate control and a practical-significance threshold, and calibrate the results against a label-permutation null. Results: Across all nine migration-benchmark cells, reliable improvements and reliable regressions coexist. Edges with aggregate gains of up to 7.3 percentage points contain up to 8.3% reliably regressed items; edges with aggregate losses contain up to 10.7% reliably improved items. On the instruction-following benchmark, the gap between strict and loose scoring widens by 3.9 percentage points on the latest migration: a 3.9-point regression under strict scoring shrinks to 0.04 points under loose scoring. Conclusion: Migration decisions based on aggregate scores alone miss substantial bidirectional item-level change. The complete response-level archive and per-item scoring outputs are released.