Evaluation is all you need. Prompting Generative Large Language Models for Annotation Tasks in the Social Sciences. A Primer using Open Models

📄 arXiv: 2401.00284v1 📥 PDF

作者: Maximilian Weber, Merle Reichardt

分类: cs.CL

发布日期: 2023-12-30

💡 一句话要点

利用开源大语言模型进行社会科学标注任务，强调评估与Prompt工程的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开源大语言模型 社会科学 文本标注 Prompt工程 情感分析 数据隐私 可重复性

📋 核心要点

  1. 现有专有大语言模型在社会科学标注任务中存在可重复性差、数据隐私风险等问题，限制了其应用。
  2. 本文提出利用开源大语言模型，通过精细的Prompt工程，实现对社会科学文本数据的有效标注。
  3. 实验结果表明，开源模型在特定任务上表现良好，但需要针对不同模型和任务进行Prompt优化和验证。

📝 摘要（中文）

本文探讨了使用开源生成式大语言模型（LLM）进行社会科学领域标注任务的可能性。研究强调了专有模型存在的局限性，例如可重复性差和隐私问题，并提倡采用可在独立设备上运行的开源模型。文章提供了两个标注任务的示例：推文的情感分析和童年理想作文中休闲活动的识别。研究评估了不同Prompt策略和模型（neural-chat-7b-v3-2、Starling-LM-7B-alpha、openchat_3.5、zephyr-7b-alpha 和 zephyr-7b-beta）的性能。结果表明，需要仔细的验证和定制化的Prompt工程。该研究突出了开源模型在数据隐私和可重复性方面的优势。

🔬 方法详解

问题定义：本文旨在解决社会科学研究中数据标注任务对可重复性、数据隐私和成本效益的需求。现有方法依赖于专有大语言模型，这些模型存在封闭性、高成本和潜在的隐私风险，阻碍了研究的透明性和广泛应用。

核心思路：核心思路是利用开源大语言模型替代专有模型，通过精心设计的Prompt工程，使其能够胜任社会科学领域的文本标注任务。选择开源模型旨在提高研究的可重复性、降低成本并保护数据隐私。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择合适的开源大语言模型（如neural-chat-7b-v3-2、Starling-LM-7B-alpha、openchat_3.5、zephyr-7b-alpha 和 zephyr-7b-beta）；2) 定义具体的社会科学标注任务（如推文情感分析、童年理想作文中的休闲活动识别）；3) 设计不同的Prompt策略，探索最佳的Prompt形式；4) 使用不同的Prompt策略对选定的开源模型进行评估，比较其性能；5) 对结果进行验证和分析，确定最佳的Prompt工程方案。

关键创新：关键创新在于强调了开源大语言模型在社会科学标注任务中的应用潜力，并突出了Prompt工程的重要性。与直接使用专有模型相比，该方法更注重可重复性、数据隐私和成本效益。此外，该研究系统地评估了不同Prompt策略对开源模型性能的影响，为实际应用提供了指导。

关键设计：关键设计包括：1) 针对不同的标注任务，设计多种Prompt模板，例如，对于情感分析任务，可以设计“这句话的情感是积极的、消极的还是中性的？”等Prompt；2) 评估指标的选择，例如，可以使用准确率、精确率、召回率和F1值等指标来评估模型的性能；3) 模型参数的设置，例如，可以调整模型的生成长度、温度等参数，以获得更好的生成效果；4) 实验设置，例如，需要控制实验变量，确保结果的可靠性。

📊 实验亮点

研究结果表明，开源大语言模型在社会科学标注任务中具有潜力，但性能受Prompt工程影响显著。不同模型在不同任务上的表现各异，需要针对具体任务进行Prompt优化。例如，某些模型在情感分析任务上表现良好，但在休闲活动识别任务上表现较差。因此，需要仔细验证和选择合适的模型和Prompt策略。

🎯 应用场景

该研究成果可应用于社会科学研究中的各种文本数据标注任务，例如舆情分析、政策文本分析、社会态度调查等。通过使用开源大语言模型和精细的Prompt工程，可以降低标注成本，提高标注效率，并保障数据隐私。未来，该方法有望推广到其他领域，例如人文学科、教育学等。

📄 摘要（原文）

This paper explores the use of open generative Large Language Models (LLMs) for annotation tasks in the social sciences. The study highlights the challenges associated with proprietary models, such as limited reproducibility and privacy concerns, and advocates for the adoption of open (source) models that can be operated on independent devices. Two examples of annotation tasks, sentiment analysis in tweets and identification of leisure activities in childhood aspirational essays are provided. The study evaluates the performance of different prompting strategies and models (neural-chat-7b-v3-2, Starling-LM-7B-alpha, openchat_3.5, zephyr-7b-alpha and zephyr-7b-beta). The results indicate the need for careful validation and tailored prompt engineering. The study highlights the advantages of open models for data privacy and reproducibility.