What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)

📄 arXiv: 2608.06202v1 📥 PDF

作者: Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa

分类: cs.HC, cs.AI

发布日期: 2026-08-06

备注: 18 pages

💡 一句话要点

审计AI基准评估中的多模态与一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI安全评估 多模态分析 响应一致性 模型优化 大型语言模型

📋 核心要点

  1. 现有的AI基准评估方法主要依赖单一的访问方式和简单的准确性指标，未能全面反映模型在实际应用中的表现。
  2. 论文通过比较不同访问模式下的模型输出，提出了系统考虑多模态、一致性和搜索条件的评估框架。
  3. 实验结果显示，在启用网络搜索时，模型准确性下降最多可达8个百分点，且同一提示的响应一致性低至21%。

📝 摘要（中文）

大型语言模型（LLM）的基准评估常用于支持模型安全性、可靠性和部署准备的声明。然而，大多数评估依赖单一的访问方式（模型API），每个提示仅执行一次，并将准确性作为主要结果指标，而未考虑可能影响模型行为的条件，如网络搜索。本文审计了这些假设，比较了ChatGPT的聊天界面和OpenAI的API在启用和禁用网络搜索时的表现。通过对401个提示的分层样本进行分析，发现不同模式下的响应一致性、文本相似性、引用基础和放弃行为存在显著差异。这些结果表明，仅报告简单的准确性指标可能掩盖与AI安全评估相关的重要模型行为变异。

🔬 方法详解

问题定义：本文旨在解决当前AI基准评估中未考虑多模态和一致性的问题。现有方法往往只关注单一的准确性指标，忽视了模型在实际应用中的复杂行为。

核心思路：通过比较ChatGPT的聊天界面和OpenAI的API在不同条件下的表现，论文提出了一种更全面的评估框架，旨在揭示模型行为的多样性和不一致性。

技术框架：研究采用分层抽样的方法，从两个流行基准（BBQ和SafetyBench）中选取401个提示，进行多次重复实验，收集模型输出并进行分析。

关键创新：论文的创新在于系统性地审计了模型在不同访问模式和搜索条件下的表现，强调了多模态和一致性在AI安全评估中的重要性。

关键设计：实验中设置了不同的访问模式（聊天界面与API），并在启用和禁用网络搜索的情况下进行对比，分析了响应一致性、文本相似性和引用基础等多个维度。实验共收集了4812个响应，确保了数据的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在禁用网络搜索的情况下，聊天界面的响应准确性低于API，启用搜索后准确性下降最多达8个百分点。此外，同一提示的响应一致性低至21%，表明模型在不同条件下的行为存在显著差异。

🎯 应用场景

该研究的潜在应用领域包括AI安全评估、模型优化和用户体验改进。通过更全面的评估框架，开发者可以更好地理解和改进模型在实际应用中的表现，从而提高AI系统的安全性和可靠性。

📄 摘要（原文）

Large language model (LLM) benchmark evaluations are routinely used to support claims about model safety, reliability, and deployment readiness. Yet most evaluations rely on a single access modality (model APIs), perform a single run per prompt, and report accuracy as the primary outcome metric, without accounting for conditions such as web search that may have effects on model behavior in deployment. We audit these assumptions for one of the most widely-used LLMs, comparing two modalities, ChatGPT's chat UI and OpenAI's API, with and without web search enabled. We use a stratified total sample of 401 prompts from two popular benchmarks, BBQ and SafetyBench, collecting 4,812 total responses across three repeated runs per prompt. Beyond standard performance measures, we evaluate model output dimensions including response consistency, response text similarity, citation grounding, and abstention behavior. For instance, chat UI responses were less accurate than API responses on both benchmarks with search disabled. Enabling web search reduced accuracy by up to 8 percentage points, and even reversed the direction of modality performance trends for one benchmark. Repeated runs of the same prompt produced inconsistent responses in up to 21\% of prompts. The two modalities also grounded answers in different citations, and abstention behavior was also inconsistent across both modalities. These results illustrate that, even within a model family, reporting only simple accuracy metrics can obscure important forms of model behavioral variation relevant to AI safety assessments. We argue that AI safety evaluations should systematically account for modality, multi-run consistency, search conditions, and response-level behaviors to better reflect how deployed AI systems behave in practice.