Polar: A Benchmark for Evaluating Political Bias in LLMs

📄 arXiv: 2606.12922v1 📥 PDF

作者: Sangho Kim, Heejin Kim, Yoonhee Park, Hyunggeun Jeon, Jaejin Lee

分类: cs.CL, cs.CY

发布日期: 2026-06-11

备注: Submitted to ARR 2026 May cycle

💡 一句话要点

提出Polar基准以评估大型语言模型中的政治偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 政治偏见 大型语言模型 多语言评估 意识形态 基准测试

📋 核心要点

  1. 现有方法在不同政治和语言背景下测量大型语言模型的政治偏见时存在可重复性不足的问题。
  2. 论文提出Polar基准，通过选项级别的可能性测量政治偏见，涵盖多种意识形态和问题类别。
  3. 实验结果表明，模型在美国内容上偏向左翼，而在韩国内容上则表现出更为中立的偏见，呈现语言的变化也影响测量结果。

📝 摘要（中文）

政治偏见在大型语言模型（LLMs）中日益显著，但在不同政治和语言背景下的可重复测量仍然困难。我们提出了Polar，一个包含4,026个实例的多项选择基准，通过选项级别的可能性而非基于提示的生成来测量政治偏见。Polar涵盖了两个意识形态轴线和八个问题类别，并在美国和韩国的政治背景下对模型进行并行评估。对38个LLMs的测量结果显示，偏见在政治背景、问题类别、模型组和呈现语言之间系统性变化。所有模型在美国政治内容上倾向于左翼进步，但在韩国内容上表现出更为中立和混合的模式。翻译实验进一步表明，仅呈现语言就能改变测量的偏见。这些发现强调了对LLMs进行多语言和跨背景政治偏见评估的必要性。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型中政治偏见的测量问题，现有方法在不同政治和语言背景下的可重复性较差，难以准确评估模型的偏见程度。

核心思路：论文提出Polar基准，通过选项级别的可能性而非基于提示的生成来测量政治偏见，允许在多种意识形态和问题类别下进行评估。

技术框架：Polar基准包含4,026个实例，涵盖两个意识形态轴线和八个问题类别，模型在美国和韩国的政治背景下进行并行评估。

关键创新：最重要的技术创新在于通过选项级别的可能性测量政治偏见，这与传统的基于提示的生成方法有本质区别，提供了更为细致的评估方式。

关键设计：在实验设计中，模型的评估考虑了政治背景、问题类别、模型组和呈现语言等多个因素，确保了测量的全面性和准确性。实验还包括翻译实验，以验证呈现语言对偏见测量的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，38个大型语言模型在美国政治内容上普遍倾向于左翼进步，而在韩国内容上则表现出更为中立和混合的偏见。此外，翻译实验表明，仅呈现语言的变化就能显著影响偏见测量，强调了多语言评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括政治分析、社交媒体监测和内容审核等。通过评估大型语言模型的政治偏见，能够帮助开发更为公正和中立的AI系统，促进多元文化的理解与交流。未来，该基准可能成为评估AI模型政治偏见的重要工具，推动相关领域的研究与实践。

📄 摘要（原文）

Political bias in large language models (LLMs) is increasingly significant, but difficult to measure reproducibly across political and linguistic contexts. We introduce Polar, a 4,026-instance multiple-choice benchmark that measures political bias through option-level likelihoods rather than prompt-based generation. Polar covers two ideological axes and eight issue categories derived from the Manifesto Project, and evaluates models in parallel across U.S. and South Korean political contexts. Across 38 LLMs, measured bias varies systematically with political context, issue category, model group, and presentation language. All models lean left-progressive on U.S. political content, but show more centered and mixed patterns on South Korean content. Translation experiments further show that presentation language alone can shift measured bias. These findings highlight the need for multilingual and cross-contextual evaluation of political bias in LLMs.