Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases
作者: Davood Wadi, Mohsen Ghodrat, Matthew Philp
分类: cs.CL
发布日期: 2026-08-11
💡 一句话要点
提出精确Likert量表分布以评估LLM的态度与偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 偏见评估 因子实验 概率质量函数 心理测量学 多变量分析 人工智能伦理
📋 核心要点
- 现有的模型评估方法通常依赖于大型非结构化基准，无法有效区分偏见的来源。
- 本文提出通过因子实验和精确的概率质量函数来系统性地评估LLMs的行为。
- 通过案例研究，验证了该框架在识别国家来源偏见方面的有效性，展示了显著的提升。
📝 摘要（中文）
随着大型语言模型（LLMs）作为自主代理的广泛应用，准确评估其潜在价值和偏见变得至关重要。现有的自然语言处理（NLP）社区通常使用大型非结构化基准进行模型评估，这些数据集在有效性上存在局限，无法明确因果机制。为此，本文提出了一种分析性精确框架，用于对LLMs进行控制行为评估。通过将非结构化提示替换为完全交叉的因子实验，消除Monte Carlo文本采样噪声，并推导出多变量序数共识度量和分布ANOVA，本文展示了如何系统性地隔离国家来源偏见，从而验证了该框架的有效性。
🔬 方法详解
问题定义：本文旨在解决现有LLM评估方法无法有效识别和隔离模型偏见来源的问题。现有方法往往依赖于非结构化数据，导致因果关系模糊不清。
核心思路：论文提出通过设计完全交叉的因子实验，结合精确的token级概率质量函数（PMFs），以系统性地评估LLMs的行为和偏见。这样的设计能够更清晰地识别因果主效应和交互效应。
技术框架：整体框架包括三个主要模块：首先，使用因子实验替代非结构化提示；其次，直接操作精确的PMFs以消除采样噪声；最后，利用多变量序数共识度量和分布ANOVA进行分析。
关键创新：最重要的创新在于将人类心理测量学与LLM机制相结合，形成了一种新的评估框架，能够精确识别和分析模型的偏见。与传统方法相比，该框架在因果分析上具有更高的准确性。
关键设计：在实验设计中，采用了完全交叉的因子实验设计，确保了各个变量的独立性；在数据处理上，使用了精确的PMFs，避免了Monte Carlo采样带来的噪声，确保了结果的可靠性。实验中还设计了多变量序数共识度量，以便更好地处理和分析数据。
🖼️ 关键图片
📊 实验亮点
在对五个LLMs的案例研究中，本文的方法成功隔离了国家来源偏见，显著提高了偏见识别的准确性。与传统基准相比，新的评估框架在识别系统性偏见方面表现出更高的敏感性和准确性，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、人工智能伦理和社会科学等。通过提供一种精确的评估框架，研究者可以更好地理解和控制LLMs的偏见，从而在实际应用中提高模型的公平性和透明度，推动更负责任的AI发展。
📄 摘要（原文）
As Large Language Models (LLMs) are increasingly deployed as autonomous agents, accurately evaluating their latent values and biases is critical. The NLP community typically evaluates models using large, unstructured benchmarks. While effective for general capabilities, these datasets fundamentally conflate causal mechanisms: even when an aggregate bias is detected, unstructured evaluations cannot disentangle whether it stems from baseline traits, contextual confounders, or complex interactions. To address this, we introduce an analytically exact framework for the controlled behavioral evaluation of LLMs. We bridge human psychometrics with LLM mechanics by resolving gaps in design, measurement, and analysis. First, we replace unstructured prompting with fully crossed factorial experiments to systematically isolate causal main and interaction effects. Second, we eliminate Monte Carlo text sampling noise by operating directly on exact, token-level Probability Mass Functions (PMFs). Third, we derive a multivariate ordinal consensus metric and a distributional ANOVA to process these PMFs analytically. We validate our framework with a case study on consumer ethnocentrism across five LLMs, demonstrating how our approach isolates systemic country-of-origin biases that aggregate benchmarks otherwise obscure.