A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models

📄 arXiv: 2606.14117v1 📥 PDF

作者: Achraf Cohen, Andrew Kincaid

分类: stat.ME, cs.AI

发布日期: 2026-06-12

备注: 11 pages; 2 figures

💡 一句话要点

提出两阶段统计框架以评估大语言模型中的关联干扰

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 偏见评估 隐性联想测试 关联干扰 统计建模 模型评估 心理学范式

📋 核心要点

  1. 现有评估方法在评估大语言模型的偏见时存在混淆拒绝行为与任务表现的问题，导致结果解读困难。
  2. 本文提出了一种两阶段建模方法，旨在将响应合规性与任务一致性分类分开，从而更清晰地评估关联干扰。
  3. 实验结果显示，不同模型在关联干扰上的表现差异显著，强调了模型特定评估的重要性，部分模型的干扰可显著减轻。

📝 摘要（中文）

大语言模型（LLMs）的偏见评估逐渐采用人类心理学范式，但现有方法的局限性，尤其是拒绝行为与任务表现的混淆，影响了结果的清晰解读。本文将隐性联想测试（IAT）适配为受控的强制选择框架，并引入两阶段建模方法，区分响应合规性与任务一致性分类。在对三种现代LLM（Claude Sonnet-4、Gemini 2.5 Pro和GPT-5）的评估中，发现关联干扰在不一致条件下的任务一致性降低。结果表明，IAT风格的关联不对称性并非LLM的普遍特性，而是依赖于模型特定特征。通过将干扰与合规性分离并建模项目级变异性，本研究为评估LLM中的结构化响应模式提供了原则性框架。

🔬 方法详解

问题定义：本文旨在解决现有方法在评估大语言模型偏见时混淆拒绝行为与任务表现的问题，导致结果解读不清晰。

核心思路：通过将隐性联想测试（IAT）适配为受控的强制选择框架，提出两阶段建模方法，分离响应合规性和任务一致性，从而更准确地评估关联干扰。

技术框架：整体架构包括两个主要阶段：第一阶段为响应合规性评估，第二阶段为任务一致性分类。通过这种分离，能够更清晰地识别模型在不同条件下的表现。

关键创新：本研究的创新在于引入了两阶段建模方法，能够有效区分响应合规性与任务一致性，解决了以往方法的局限性，使得评估结果更具可解释性。

关键设计：在实验中，采用了结构化响应格式，确保合规性高，同时通过对不同模型的评估，分析了关联干扰的变化，特别是在性别-职业和性别-科学领域的表现。实验中使用了DeltaP指标来量化干扰效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Claude Sonnet-4在性别-职业领域表现出强干扰（DeltaP = 0.086），而Gemini 2.5 Pro的干扰减弱，GPT-5在各领域几乎没有检测到干扰。这表明不同模型在关联干扰上的表现差异显著，强调了模型特定评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的偏见评估、心理学研究以及人机交互设计等。通过提供更清晰的评估框架，能够帮助开发者和研究者更好地理解和改进模型的表现，推动人工智能系统的公平性和透明性。

📄 摘要（原文）

Large language models (LLMs) are increasingly evaluated for bias using adaptations of human psychological paradigms, yet methodological limitations-particularly the conflation of refusal behavior with task performance-have hindered clear interpretation. Here, we adapt the Implicit Association Test (IAT) to a controlled, forced-choice framework and introduce a two-stage modeling approach that separates response compliance from task-consistent classification. Across three contemporary LLMs (Claude Sonnet-4, Gemini 2.5 Pro, and GPT-5), we evaluate associative interference, defined as reduced task-consistency in incongruent relative to congruent conditions. While compliance with the structured response format was uniformly high, interference effects varied substantially across models and domains. Claude Sonnet-4 exhibited strong interference in the Gender--Career domain (DeltaP = 0.086, 95% CrI [0.026, 0.173]) and smaller but credible effects in Gender--Science. Gemini 2.5 Pro showed attenuated interference, and GPT-5 exhibited minimal or no detectable interference across domains. These findings demonstrate that IAT-style associative asymmetries are not a universal property of LLMs, but instead depend on model-specific characteristics. By isolating interference from compliance and modeling item-level variability, this study provides a principled framework for evaluating structured response patterns in LLMs. The results highlight the importance of model-specific assessment and suggest that associative interference can be substantially mitigated in modern systems.