Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models

📄 arXiv: 2610.40893v1 📥 PDF

作者: Nawar S. Alseelawi, Mustafa S. Aljumaily

分类: cs.CL, cs.CY

发布日期: 2026-10-29

备注: 19 pages, 1 figure, 5 tables. Protocol paper; no model results. Pre-registration: https://osf.io/crg5n. Reference implementation: https://github.com/nawaralseelawi/qistas

💡 一句话要点

提出Qistas协议以解决大型语言模型公平性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 公平性评估 大型语言模型 阿拉伯语 社会偏见 反事实分析 可移植协议 模型透明性

📋 核心要点

  1. 现有的公平性评估方法主要基于英语和美国的社会背景，缺乏对其他文化和社会的适用性。
  2. Qistas协议通过设计一套可移植的评估框架，专注于程序对称性和差异拒绝等指标，以适应不同社会的需求。
  3. 首次实地测试中，58项种子库的语义审查显示，24个模板组至少未通过一次检查，揭示了评估标准的潜在缺陷。

📝 摘要（中文）

大型语言模型（LLMs）的公平性基准主要源于英语和美国的社会类别，翻译版本在不适用的社会中延续这些类别，且几乎没有在模型运行前修正假设。本文提出Qistas（阿拉伯语中的“公正平衡”），这是一个评估LLMs如何对待社会、宗教和地区群体的协议，首次在伊拉克实施。该协议测量程序对称性、差异拒绝、模糊下的刻板印象依赖等指标，并通过配对分析方法进行评估。我们发布了作者工具，并报告了首次实地测试的结果，揭示了反事实公平性基准的潜在缺陷。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型公平性评估方法的局限性，特别是其对非英语社会的适用性不足和假设未预先修正的问题。

核心思路：Qistas协议的核心思路是创建一个可移植的评估框架，专注于不同社会的程序对称性和差异拒绝等指标，以确保评估的公平性和准确性。

技术框架：该协议包括多个模块：首先是设计一个3x5的分类法，包含四个设计关闭的单元；其次是使用配对分析方法（如符号翻转置换检验、精确的McNemar检验等）进行数据分析；最后是进行功效分析，以确定设计效果下可检测的最小效应。

关键创新：Qistas的创新在于其设计的可移植性和预注册的分析计划，确保了评估过程的透明性和可重复性，这与现有方法的随意性形成鲜明对比。

关键设计：协议中包含的关键设计元素包括：经过修剪的分类法、每种类型的检查清单、累积裁决日志、结构审计和人类审查笔记本等，这些设计确保了评估的系统性和全面性。

📊 实验亮点

在首次实地测试中，58项种子库的语义审查显示，24个模板组至少未通过一次检查，揭示了反事实公平性基准的潜在缺陷。这一结果强调了评估标准在模型设计中的重要性，并为未来的研究提供了改进方向。

🎯 应用场景

Qistas协议的潜在应用场景包括多文化社会中大型语言模型的公平性评估，尤其是在阿拉伯国家和其他非英语国家。通过提供一个标准化的评估框架，该协议可以帮助研究人员和开发者识别和修正模型中的偏见，从而提高模型的社会适应性和公平性。

📄 摘要（原文）

Fairness benchmarks for large language models (LLMs) are overwhelmingly English-born and American in their social categories; translated versions carry those categories into societies where they do not apply, and almost none fix their hypotheses before the models are run. We present Qistas (Arabic qistas, "the just balance"), a protocol for evaluating how LLMs treat the social, confessional, and regional constituencies of a society, portable across countries and instantiated first for Iraq. In its pilot form it measures only what needs no verdict on contested truth: procedural symmetry across matched counterfactual pairs, differential refusal, stereotype reliance under ambiguity, and terminological framing of documented events. Every measurement is paired by construction and analysed with paired machinery (sign-flip permutation tests, exact McNemar tests, template-clustered bootstrap intervals, Holm-corrected families), with a power analysis that states, before any data exist, the smallest effect each axis can detect after the design effect of template clustering. We release the authoring apparatus (a pruned 3x5 taxonomy with four cells closed by design, per-type checklists, a cumulative rulings log, a structural audit, and a human review notebook) and report its first field test: a semantic review of a 58-item seed bank in which 24 of 25 template groups failed at least one check. The defect patterns it exposed (evaluation criteria leaking into prompts, token-level swaps that break Arabic agreement, epistemically unbalanced pairs, single-theme refusal probes, unwritten dialect twins counted as coverage) are, we argue, general hazards of counterfactual fairness benchmarks. This is a protocol paper, not a results paper: no model has been evaluated, and the accompanying pre-registration commits the hypotheses, metrics, exclusion rules, and analysis plan that the pilot will follow.