Positioning Political Texts with Large Language Models by Asking and Averaging
作者: Gaël Le Mens, Aina Gallego
分类: cs.CL
发布日期: 2023-11-28 (更新: 2024-09-05)
💡 一句话要点
利用大语言模型定位政治文本以解决政策分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 政治文本分析 政策定位 意识形态空间 多语言处理
📋 核心要点
- 现有方法在定位政治文本时，往往依赖于专家编码或监督学习，成本高且效率低。
- 本研究提出通过询问指令调优的大语言模型来定位文本，并对多次回答取平均以提高准确性。
- 实验结果表明，使用大语言模型的定位估计与专家编码的相关性超过0.90，且比传统监督分类器更为准确。
📝 摘要（中文）
本研究利用指令调优的大语言模型（如GPT-4、Llama 3等）来定位政治文本在政策和意识形态空间中的位置。通过询问模型某条推文或政治文本的立场，并对模型的回答进行平均，研究者能够有效地定位美国参议员等政治参与者，或分析英国政党宣言及欧盟政策演讲等多种语言的长文本。与专家编码、众包工作者或投票记录的基准相比，模型估计的相关性超过0.90，且该方法的准确性普遍高于基于大量研究数据训练的监督分类器。使用指令调优的大语言模型进行文本定位快速、经济、可靠且可重复，尤其适用于短文本和多语言文本。最后，研究者对实证验证的必要性提出了谨慎的建议。
🔬 方法详解
问题定义：本研究旨在解决如何有效定位政治文本在政策和意识形态空间中的位置。现有方法如专家编码和监督学习存在高成本和低效率的问题。
核心思路：论文的核心思路是利用指令调优的大语言模型，通过询问模型文本的立场并对多次回答进行平均，从而获得更可靠的定位结果。这样的设计旨在提高定位的准确性和效率。
技术框架：整体架构包括文本输入、模型询问、结果收集和平均处理几个主要模块。首先将政治文本输入模型，然后询问其在特定维度上的立场，最后对多次回答进行平均以得出最终定位。
关键创新：最重要的技术创新在于使用指令调优的大语言模型进行文本定位，这一方法的本质区别在于其高效性和准确性，超越了传统的专家编码和监督学习方法。
关键设计：在模型选择上，使用了多种指令调优的大语言模型（如GPT-4、Llama 3等），并通过对不同语言的文本进行处理，确保了方法的广泛适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用指令调优的大语言模型进行文本定位的相关性超过0.90，相较于传统的监督分类器，准确性有显著提升。这一方法不仅快速且成本低，适用于多种语言的文本分析，展现出良好的实用性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括政治分析、社会科学研究和政策制定等。通过快速、经济地定位政治文本，研究者和政策制定者能够更好地理解不同文本在政策和意识形态上的立场，从而做出更为精准的决策。未来，该方法有望在多语言环境下的文本分析中发挥更大作用。
📄 摘要（原文）
We use instruction-tuned Large Language Models (LLMs) like GPT-4, Llama 3, MiXtral, or Aya to position political texts within policy and ideological spaces. We ask an LLM where a tweet or a sentence of a political text stands on the focal dimension and take the average of the LLM responses to position political actors such as US Senators, or longer texts such as UK party manifestos or EU policy speeches given in 10 different languages. The correlations between the position estimates obtained with the best LLMs and benchmarks based on text coding by experts, crowdworkers, or roll call votes exceed .90. This approach is generally more accurate than the positions obtained with supervised classifiers trained on large amounts of research data. Using instruction-tuned LLMs to position texts in policy and ideological spaces is fast, cost-efficient, reliable, and reproducible (in the case of open LLMs) even if the texts are short and written in different languages. We conclude with cautionary notes about the need for empirical validation.