Polar: A Benchmark for Evaluating Political Bias in LLMs

📄 arXiv: 2606.12922 📥 PDF

作者: Sangho Kim, Heejin Kim, Yoonhee Park, Hyunggeun Jeon, Jaejin Lee

分类: cs.CL, cs.CY

发布日期: 2026-06-12

💡 一句话要点

提出Polar基准以评估大型语言模型中的政治偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 政治偏见 大型语言模型 多项选择基准 跨文化评估 意识形态分析

📋 核心要点

  1. 现有方法在不同政治和语言背景下测量大型语言模型的政治偏见时存在重复性差的问题。
  2. 本文提出Polar基准，通过选项级别的可能性评估政治偏见，涵盖多种意识形态和问题类别。
  3. 实验结果显示，38个LLMs在美国内容上偏向左进步，而在韩国内容上则表现出更为中立的偏见模式。

📝 摘要（中文）

大型语言模型（LLMs）中的政治偏见日益显著，但在不同政治和语言背景下的可重复测量仍然困难。本文介绍了Polar，一个包含4026个实例的多项选择基准，通过选项级别的可能性而非基于提示的生成来衡量政治偏见。Polar涵盖了两个意识形态轴线和八个问题类别，并在美国和韩国的政治背景下对模型进行并行评估。对38个LLMs的测量显示，偏见在政治背景、问题类别、模型组和呈现语言之间系统性变化。所有模型在美国政治内容上倾向于左进步，而在韩国内容上则表现出更为中立和混合的模式。翻译实验进一步表明，仅呈现语言就能改变测量的偏见。这些发现强调了对LLMs进行多语言和跨背景政治偏见评估的必要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中政治偏见的可重复测量问题。现有方法往往依赖于生成式评估，缺乏系统性和跨语言背景的比较。

核心思路：论文提出Polar基准，通过多项选择的方式评估模型在不同政治背景下的偏见，强调选项级别的可能性而非单一生成结果，从而提高评估的准确性和可重复性。

技术框架：Polar基准包含4026个实例，涵盖两个意识形态轴线和八个问题类别。评估过程在美国和韩国的政治背景下并行进行，确保了多样性和广泛性。

关键创新：最重要的创新在于采用选项级别的可能性评估方法，这与传统的基于提示的生成方法本质上不同，能够更全面地捕捉模型的偏见特征。

关键设计：在实验中，模型的偏见通过对比不同政治内容和语言的表现来评估，设计了多种翻译实验以验证呈现语言对偏见测量的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，38个大型语言模型在美国政治内容上普遍表现出左进步的偏见，而在韩国内容上则呈现出更为中立和混合的偏见模式。此外，翻译实验表明，呈现语言的变化可以显著影响测量的偏见，强调了多语言评估的重要性。

🎯 应用场景

该研究为评估大型语言模型中的政治偏见提供了一个系统化的工具，具有广泛的应用潜力。它可以帮助研究人员和开发者理解和改进模型的公平性，尤其是在多语言和跨文化的应用场景中，促进更为公正的AI系统的开发。

📄 摘要（原文）

Political bias in large language models (LLMs) is increasingly significant, but difficult to measure reproducibly across political and linguistic contexts. We introduce Polar, a 4,026-instance multiple-choice benchmark that measures political bias through option-level likelihoods rather than prompt-based generation. Polar covers two ideological axes and eight issue categories derived from the Manifesto Project, and evaluates models in parallel across U.S. and South Korean political contexts. Across 38 LLMs, measured bias varies systematically with political context, issue category, model group, and presentation language. All models lean left-progressive on U.S. political content, but show more centered and mixed patterns on South Korean content. Translation experiments further show that presentation language alone can shift measured bias. These findings highlight the need for multilingual and cross-contextual evaluation of political bias in LLMs.