Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models

📄 arXiv: 2402.16786v2 📥 PDF

作者: Paul Röttger, Valentin Hofmann, Valentina Pyatkin, Musashi Hinck, Hannah Rose Kirk, Hinrich Schütze, Dirk Hovy

分类: cs.CL, cs.AI

发布日期: 2024-02-26 (更新: 2024-06-05)

备注: Accepted at ACL 2024 (Main Conference)

💡 一句话要点

提出更真实的评估方法以解决大语言模型价值观评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 价值观评估 开放式回答 政治偏见 评估方法

📋 核心要点

  1. 现有方法主要依赖多项选择题，无法真实反映用户与大语言模型的互动，导致评估结果的人工性和局限性。
  2. 本文提出通过开放式回答的方式进行无约束评估，以更真实地捕捉模型的价值观和意见。
  3. 研究发现，模型在无约束评估中给出的答案与多项选择格式下显著不同，揭示了评估方法的局限性和潜在改进方向。

📝 摘要（中文）

近年来，许多研究试图通过多项选择调查和问卷评估大语言模型（LLMs）中的价值观和意见。这些研究主要关注LLMs在现实世界应用中的潜在影响，例如政治偏见可能对社会产生的微妙影响。然而，当前的评估方法往往过于人工，无法真实反映用户与LLMs的互动。本文挑战了现有的评估范式，探索更为真实的无约束评估方法，并以政治坐标测试（PCT）为案例进行系统评审，发现模型在不同评估格式下的回答存在显著差异，并提出了相应的建议与挑战。

🔬 方法详解

问题定义：本文旨在解决当前大语言模型价值观评估方法的人工性和局限性，现有多项选择题的格式无法真实反映用户的实际需求和模型的真实表现。

核心思路：通过引入开放式回答的评估方式，挑战传统的多项选择评估，旨在捕捉更丰富和真实的模型输出，从而更好地理解模型的价值观和意见。

技术框架：研究首先对现有使用政治坐标测试的文献进行系统评审，分析模型在不同评估格式下的表现，接着设计开放式回答的实验，比较模型在不同设置下的输出。

关键创新：最重要的创新在于提出无约束评估方法，强调模型在开放式回答中的表现与多项选择格式下的显著差异，这一发现挑战了传统评估的有效性。

关键设计：在实验中，设置了不同的评估格式，包括多项选择和开放式回答，分析模型在这些格式下的输出变化，关注答案的多样性和稳健性。通过这些设计，研究揭示了模型在价值观评估中的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在开放式回答设置下的输出与多项选择格式下的答案存在显著差异，揭示了评估方法的局限性。具体而言，模型在无约束评估中表现出更高的多样性和更低的答案稳健性，强调了传统评估方法的不足之处。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、政治舆论分析以及大语言模型的伦理审查等。通过更真实的评估方法，可以帮助开发者和研究者更好地理解和控制模型的输出，从而降低潜在的社会影响和偏见风险，推动大语言模型的安全应用。

📄 摘要（原文）

Much recent work seeks to evaluate values and opinions in large language models (LLMs) using multiple-choice surveys and questionnaires. Most of this work is motivated by concerns around real-world LLM applications. For example, politically-biased LLMs may subtly influence society when they are used by millions of people. Such real-world concerns, however, stand in stark contrast to the artificiality of current evaluations: real users do not typically ask LLMs survey questions. Motivated by this discrepancy, we challenge the prevailing constrained evaluation paradigm for values and opinions in LLMs and explore more realistic unconstrained evaluations. As a case study, we focus on the popular Political Compass Test (PCT). In a systematic review, we find that most prior work using the PCT forces models to comply with the PCT's multiple-choice format. We show that models give substantively different answers when not forced; that answers change depending on how models are forced; and that answers lack paraphrase robustness. Then, we demonstrate that models give different answers yet again in a more realistic open-ended answer setting. We distill these findings into recommendations and open challenges in evaluating values and opinions in LLMs.