Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs
作者: Tanise Ceron, Neele Falk, Ana Barić, Dmitry Nikolaev, Sebastian Padó
分类: cs.CL, cs.CY
发布日期: 2024-02-27 (更新: 2024-08-08)
备注: 12 pages, TACL
💡 一句话要点
提出一系列测试以评估大型语言模型的政治世界观可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治世界观 可靠性评估 参数规模 政策一致性 多国数据集 左翼倾向 社会科学
📋 核心要点
- 现有研究表明，LLMs在政治问卷中表现出左翼倾向，但其可靠性和一致性尚未得到验证。
- 本文提出了一系列测试，旨在评估LLMs在政治声明上的立场，基于多国的投票建议问卷数据集。
- 研究结果显示，LLMs的可靠性随着参数数量的增加而提升，且在环境保护和社会福利等政策上表现出左倾立场。
📝 摘要（中文）
随着大型语言模型（LLMs）的广泛应用，我们需要理解它们是否嵌入特定的“世界观”及其反映的内容。近期研究表明，LLMs在政治问卷中表现出左翼自由倾向。然而，这些倾向的可靠性和一致性尚不明确。本文提出了一系列测试，评估LLMs在政治声明上的立场可靠性，基于来自七个欧盟国家的投票建议问卷数据集。研究发现，模型的可靠性随着参数数量的增加而提高，较大的模型在总体上与左倾政党更一致，但在政策项目上存在差异。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在政治立场上的可靠性和一致性问题。现有研究未能充分验证这些模型在不同提示下的表现稳定性。
核心思路：通过设计一系列测试，评估LLMs对政治声明的反应，分析其在不同政策上的立场一致性，进而揭示其潜在的世界观。
技术框架：研究使用了来自七个欧盟国家的投票建议问卷数据集，模型范围从7B到70B参数，评估其在不同政治声明上的表现。
关键创新：本研究的创新在于系统性地评估LLMs的政治立场，特别是通过对比不同规模模型的表现，揭示了模型在政策上的多样性和复杂性。
关键设计：实验中，模型的参数设置和数据集的选择至关重要，使用了多种政治声明进行评估，以确保结果的全面性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLMs的可靠性随着模型参数的增加而显著提升。较大的模型在环境保护、社会福利等政策上表现出一致的左倾立场，而在法律秩序等方面则显示出右倾倾向。整体上，70B参数模型的表现优于7B参数模型，展示了参数规模对模型政治倾向一致性的影响。
🎯 应用场景
该研究的潜在应用领域包括政治分析、舆情监测和社会科学研究。通过理解LLMs的政治倾向，可以为政策制定者和研究人员提供有价值的洞见，帮助他们更好地应对社会问题和公众舆论。未来，这种评估方法可能扩展到其他领域，如经济和文化分析。
📄 摘要（原文）
Due to the widespread use of large language models (LLMs), we need to understand whether they embed a specific "worldview" and what these views reflect. Recent studies report that, prompted with political questionnaires, LLMs show left-liberal leanings (Feng et al., 2023; Motoki et al., 2024). However, it is as yet unclear whether these leanings are reliable (robust to prompt variations) and whether the leaning is consistent across policies and political leaning. We propose a series of tests which assess the reliability and consistency of LLMs' stances on political statements based on a dataset of voting-advice questionnaires collected from seven EU countries and annotated for policy issues. We study LLMs ranging in size from 7B to 70B parameters and find that their reliability increases with parameter count. Larger models show overall stronger alignment with left-leaning parties but differ among policy programs: They show a (left-wing) positive stance towards environment protection, social welfare state and liberal society but also (right-wing) law and order, with no consistent preferences in the areas of foreign policy and migration.