Multi-Test Nation Bias Benchmarking of LLMs with Explicit Unbiased Baselines
作者: Jonghyeon Choi, Yeonjun Choi, Beakcheol Jang
分类: cs.AI
发布日期: 2026-10-30
备注: Published in Transactions of the Association for Computational Linguistics (TACL), 2026. 17 pages. Equal contribution: Jonghyeon Choi and Yeonjun Choi
期刊: Transactions of the Association for Computational Linguistics, vol. 14, pp. 2374-2390, 2026
DOI: 10.1162/TACL.a.806
💡 一句话要点
提出多测试国家偏见基准以评估大型语言模型的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 国家偏见 大型语言模型 无偏基准 国际关系 偏见评估 投票行为 多测试方法
📋 核心要点
- 现有的评估方法缺乏明确的无偏参考基准，限制了对大型语言模型偏见的全面测量。
- 本文提出了五种互补测试，利用扩展的UNSC记录来量化国家级偏见，并定义了无偏状态。
- 基准测试结果显示，模型输出在不同国家间存在明显的偏见倾向，强调了审计的重要性。
📝 摘要（中文）
尽管之前的研究指出大型语言模型（LLMs）中存在系统性的国家级偏见，这可能对国际关系应用构成操作风险，但许多现有评估仍缺乏明确的无偏参考基准，限制了全面的定量和跨场景测量。本文使用722份联合国安全理事会（UNSC）官方记录，采用五种互补测试来测量国家级偏见，扩展了先前方法的偏见表达渠道。为实现有据可依的偏见评估，本文为每个测试明确定义了无偏状态，尤其是对于难以指定基准的测试，提出了基于可观察投票行为的伪无偏状态，以构建可量化基准。对四个LLM进行基准测试，发现模型输出相对于每个测试定义的参考基准，倾向于中国和俄罗斯的反对（红色）立场，而倾向于英国、美国和法国的支持（蓝色）立场。这些结果强调了需要通过有据可依的多测试基准来审计面向国际关系的LLM部署。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中存在的系统性国家级偏见问题。现有方法缺乏明确的无偏参考基准，导致偏见评估的定量和跨场景测量受到限制。
核心思路：论文通过使用722份UNSC官方记录，提出五种互补测试来测量国家级偏见，并为每个测试明确无偏状态，尤其是通过可观察的投票行为构建伪无偏状态。
技术框架：整体架构包括数据收集、偏见测量测试设计、无偏状态定义和模型输出分析四个主要模块。每个测试针对不同的偏见表达渠道进行设计。
关键创新：最重要的创新在于提出了基于投票行为的伪无偏状态，这一方法为难以定义的测试提供了量化基准，与现有方法相比，增强了评估的准确性和可靠性。
关键设计：在测试设计中，采用了五种不同的偏见测量方法，包括意见排名、关联排序、投票模拟、反对归因和框架测试，确保覆盖更广泛的偏见表达渠道。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于五种测试的基准评估，模型输出在中国和俄罗斯方面表现出明显的反对倾向，而在英国、美国和法国方面则表现出支持倾向。这一发现强调了对国际关系领域LLM部署的审计需求。
🎯 应用场景
该研究的潜在应用领域包括国际关系、政策分析和大型语言模型的开发与审计。通过提供明确的偏见评估基准，研究能够帮助决策者理解和应对模型在国际事务中的潜在影响，促进更公正的技术应用。
📄 摘要（原文）
While prior work has highlighted that systematic nation-level bias in large language models (LLMs) can pose operational risks for international relations (IR) applications, many existing evaluations still lack a clearly specified unbiased reference (ground truth), limiting fully quantitative and cross-setting measurement. Using an expanded corpus of 722 official UN Security Council (UNSC) records, we measure nation-level bias with five complementary tests, thereby extending prior approaches to cover a broader set of bias expression channels: opinion ranking (WOW), association sorting (AK+-), vote simulation (PVS), opposition attribution (F-Oppose), and framing (Headliner). To enable grounded bias evaluation, we explicitly define an unbiased status for each test; in particular, for WOW and AK+- where ground truth is difficult to specify, we propose an action-based pseudo unbiased status derived from observable voting behavior to construct a quantifiable baseline. Benchmarking 4 LLMs (GPT-4o-mini, Llama 3.3-70B, Mistral-22B-Small, and Qwen3-30B) across the five permanent members of the UNSC, we find a test-agnostic macro-pattern: relative to the reference baselines defined for each test, model outputs lean toward the opposition (red) side for China and Russia and toward the supportive (blue) side for the U.K., the U.S., and France. These results underscore the need to audit IR-facing LLM deployments with grounded, multi-test benchmarks tied to explicit reference points.