The Political Preferences of LLMs

📄 arXiv: 2402.01789v2 📥 PDF

作者: David Rozado

分类: cs.CY, cs.AI, cs.CL

发布日期: 2024-02-02 (更新: 2024-06-02)

💡 一句话要点

分析大型语言模型的政治偏好及其调控方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏好 监督微调 对话系统 社会影响

📋 核心要点

  1. 现有的对话型大型语言模型在处理政治相关问题时，普遍表现出左翼偏好，缺乏中立性。
  2. 通过对24个对话型LLMs进行政治取向测试，提出了利用监督微调技术调整模型政治偏好的方法。
  3. 研究表明，使用适量的政治对齐数据进行监督微调，可以有效地引导LLMs的政治倾向，具有潜在的社会影响。

📝 摘要（中文）

本文对大型语言模型（LLMs）中嵌入的政治偏好进行了全面分析。研究者对24个最先进的对话型LLMs进行了11项政治取向测试，结果显示大多数模型在政治相关问题上倾向于左翼观点。虽然基础模型的表现不佳，但通过监督微调（SFT），可以将LLMs引导至特定的政治光谱位置。这一发现对LLMs在信息传播中的社会影响具有重要意义。

🔬 方法详解

问题定义：本文旨在揭示大型语言模型中潜在的政治偏好，现有方法未能充分识别和调控这些偏好，导致信息传播的不平衡。

核心思路：通过对24个对话型LLMs进行政治取向测试，分析其在政治问题上的响应，并提出利用监督微调技术来调整模型的政治倾向。

技术框架：研究首先对模型进行政治取向测试，收集响应数据，然后使用监督微调技术，基于少量政治对齐数据进行模型训练，最后评估模型的政治倾向变化。

关键创新：提出了通过监督微调技术有效引导LLMs的政治倾向，这一方法在现有文献中尚未被广泛探讨，具有重要的理论和实践意义。

关键设计：在监督微调过程中，选择了适量的政治对齐数据，设计了相应的损失函数以优化模型的政治响应，确保模型在特定政治光谱位置的表现。

📊 实验亮点

实验结果显示，大多数对话型LLMs在政治测试中表现出明显的左翼倾向，而基础模型的表现则不够一致。通过监督微调，模型的政治倾向可以被有效引导，显示出在特定政治光谱位置的潜力。这一发现为未来的模型设计提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、新闻推荐系统和教育工具等。通过调控LLMs的政治偏好，可以在信息传播中实现更为中立和多元的视角，从而减少社会分歧，促进公共讨论的健康发展。

📄 摘要（原文）

I report here a comprehensive analysis about the political preferences embedded in Large Language Models (LLMs). Namely, I administer 11 political orientation tests, designed to identify the political preferences of the test taker, to 24 state-of-the-art conversational LLMs, both closed and open source. When probed with questions/statements with political connotations, most conversational LLMs tend to generate responses that are diagnosed by most political test instruments as manifesting preferences for left-of-center viewpoints. This does not appear to be the case for five additional base (i.e. foundation) models upon which LLMs optimized for conversation with humans are built. However, the weak performance of the base models at coherently answering the tests' questions makes this subset of results inconclusive. Finally, I demonstrate that LLMs can be steered towards specific locations in the political spectrum through Supervised Fine-Tuning (SFT) with only modest amounts of politically aligned data, suggesting SFT's potential to embed political orientation in LLMs. With LLMs beginning to partially displace traditional information sources like search engines and Wikipedia, the societal implications of political biases embedded in LLMs are substantial.