Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs

📄 arXiv: 2403.13592v2 📥 PDF

作者: Ilias Chalkidis, Stephanie Brandl

分类: cs.CL

发布日期: 2024-03-20 (更新: 2024-03-22)

备注: accepted to NAACL 2024 as a short paper

💡 一句话要点

通过Llama Chat分析欧盟政治光谱的研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治倾向 欧盟政治 模型微调 数据驱动

📋 核心要点

  1. 现有的研究主要集中在美国的两党制，缺乏对其他政治体系的深入分析，尤其是欧盟的多党制。
  2. 本研究通过对Llama Chat进行进一步微调，使用欧盟政党的演讲数据，旨在评估其在欧盟政治背景下的知识和推理能力。
  3. 实验结果表明，经过微调的模型能够准确反映各政党的政治立场，并在上下文推理方面表现出色。

📝 摘要（中文）

本研究探讨了指令微调的大型语言模型（LLMs）在政治倾向上的表现，特别是其在欧盟政治背景下的应用。我们对Llama Chat进行了进一步微调，使用欧洲议会辩论中各个欧盟政党的演讲，以重新评估其政治倾向。研究发现，Llama Chat对国家政党的立场具有相当的知识，并能够在上下文中进行推理。经过适应的特定政党模型在各自立场上显著重新对齐，标志着将基于聊天的LLMs作为数据驱动的对话引擎在政治科学研究中的潜在应用。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在多党政治体系中的政治倾向评估不足的问题。现有方法主要集中在美国的两党制，缺乏对其他政治体系的适用性分析。

核心思路：通过对Llama Chat进行进一步微调，使用来自欧洲议会辩论的政党演讲数据，重新评估模型的政治倾向和推理能力。这样的设计使得模型能够更好地适应欧盟的多党政治环境。

技术框架：整体架构包括数据收集、模型微调和性能评估三个主要阶段。首先收集各个政党的演讲数据，然后对Llama Chat进行微调，最后通过EUandI问卷评估模型的政治倾向。

关键创新：本研究的创新点在于将大型语言模型应用于多党制的政治分析，特别是通过微调使模型能够理解和推理不同政党的立场。这与现有方法的主要区别在于其适用性和针对性。

关键设计：在微调过程中，采用了特定的损失函数以优化模型对政党立场的理解，并调整了模型的超参数以提高推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的Llama Chat在理解和推理各政党的政治立场方面表现优异，尤其是在与基线模型的对比中，模型的准确性和推理能力显著提升，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括政治科学研究、舆情分析和政策制定等。通过使用微调后的Llama Chat，研究人员可以更深入地理解欧盟各政党的立场及其对政策的影响，从而为政策制定提供数据支持。未来，这种方法可能会扩展到其他国家或地区的政治分析中。

📄 摘要（原文）

Instruction-finetuned Large Language Models inherit clear political leanings that have been shown to influence downstream task performance. We expand this line of research beyond the two-party system in the US and audit Llama Chat in the context of EU politics in various settings to analyze the model's political knowledge and its ability to reason in context. We adapt, i.e., further fine-tune, Llama Chat on speeches of individual euro-parties from debates in the European Parliament to reevaluate its political leaning based on the EUandI questionnaire. Llama Chat shows considerable knowledge of national parties' positions and is capable of reasoning in context. The adapted, party-specific, models are substantially re-aligned towards respective positions which we see as a starting point for using chat-based LLMs as data-driven conversational engines to assist research in political science.