Towards Human-Level Text Coding with LLMs: The Case of Fatherhood Roles in Public Policy Documents
作者: Lorenzo Lupo, Oscar Magnusson, Dirk Hovy, Elin Naurin, Lena Wängnerud
分类: cs.CL, cs.CY
发布日期: 2023-11-20 (更新: 2024-08-28)
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于LLMs的文本编码方法以解决政治科学中的复杂性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文本编码 政治科学 法律术语 自动化分析
📋 核心要点
- 现有的文本编码方法在处理非英语语言和复杂政治术语时存在效率低、准确性不足的问题。
- 本研究提出了一种基于LLMs的文本编码工作流程，通过提供详细的代码本来优化模型的选择和提示策略。
- 实验结果表明，LLMs在文本编码任务中的表现与人类编码者相当，且在速度和成本上具有显著优势。
📝 摘要（中文）
近年来，大型语言模型（LLMs）如GPT-3.5和GPT-4的进步为政治科学中的文本分析提供了新的自动化机会。本研究评估了LLMs在三项涉及政治科学特有复杂性的编码任务中的表现，包括非英语语言、法律和政治术语，以及基于抽象概念的复杂标签。我们提出了一种优化模型选择和提示的实用工作流程，发现提供详细代码本的提示策略使LLMs的表现可与人类编码者相媲美，且在速度、成本和可扩展性上具有显著优势。此外，我们还比较了GPT与流行的开源LLMs，讨论了模型选择的权衡。我们的软件可作为注释工具公开使用。
🔬 方法详解
问题定义：本论文旨在解决政治科学文本编码中的复杂性问题，尤其是在处理非英语语言和法律术语时，现有方法往往效率低下且准确性不足。
核心思路：论文提出通过大型语言模型（LLMs）进行文本编码，利用详细的代码本作为提示，以提高模型的编码准确性和效率。这样的设计可以让LLMs在复杂的文本分析中发挥更大的作用。
技术框架：整体架构包括三个主要模块：1) 数据预处理，确保输入文本的质量；2) 模型选择与提示优化，基于任务需求选择合适的LLM并设计提示；3) 结果评估，比较LLMs与人类编码者的表现。
关键创新：最重要的创新在于通过详细的代码本来指导LLMs的编码过程，使其在复杂文本分析中表现出与人类相当的效果，这是与传统方法的本质区别。
关键设计：在模型选择中，考虑了不同LLMs的性能和适用性；在提示设计中，详细的代码本被用作指导，确保模型能够理解复杂的标签和术语。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用LLMs进行文本编码的准确性与人类编码者相当，且在处理速度上提高了数倍，成本降低了显著。具体而言，LLMs在复杂标签的识别上表现出高达90%的准确率，远超传统方法。
🎯 应用场景
该研究的成果可广泛应用于政治科学、法律文本分析及其他需要处理复杂语言和术语的领域。通过提高文本编码的效率和准确性，能够为政策分析、社会研究等提供更为高效的工具，推动相关领域的发展。
📄 摘要（原文）
Recent advances in large language models (LLMs) like GPT-3.5 and GPT-4 promise automation with better results and less programming, opening up new opportunities for text analysis in political science. In this study, we evaluate LLMs on three original coding tasks involving typical complexities encountered in political science settings: a non-English language, legal and political jargon, and complex labels based on abstract constructs. Along the paper, we propose a practical workflow to optimize the choice of the model and the prompt. We find that the best prompting strategy consists of providing the LLMs with a detailed codebook, as the one provided to human coders. In this setting, an LLM can be as good as or possibly better than a human annotator while being much faster, considerably cheaper, and much easier to scale to large amounts of text. We also provide a comparison of GPT and popular open-source LLMs, discussing the trade-offs in the model's choice. Our software allows LLMs to be easily used as annotators and is publicly available: https://github.com/lorelupo/pappa.