Scalable Qualitative Coding with LLMs: Chain-of-Thought Reasoning Matches Human Performance in Some Hermeneutic Tasks

📄 arXiv: 2401.15170v2 📥 PDF

作者: Zackary Okun Dunivin

分类: cs.CL, cs.AI

发布日期: 2024-01-26 (更新: 2024-02-12)

💡 一句话要点

利用LLMs实现可扩展的定性编码，提升人文研究效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 定性编码 大型语言模型 内容分析 链式思维推理 人文学科 自动化研究 编码一致性

📋 核心要点

  1. 现有的定性编码方法效率低下，人工编码耗时且容易受到主观因素的影响。
  2. 论文提出利用大型语言模型（LLMs）进行自动化编码，特别是通过链式思维推理来提高编码的准确性和一致性。
  3. 实验结果显示，GPT-4在多个编码任务中表现出优于GPT-3.5的性能，且在提供推理时编码准确性显著提升。

📝 摘要（中文）

定性编码或内容分析旨在从文本中提取意义，以识别文本语料库中的定量模式。近年来，大型语言模型（LLMs）在解释能力上的进展为自动化编码过程提供了潜力，使人类研究者能够专注于更具创造性的研究方面。我们的案例研究涉及对密集段落的社会历史编码，结果表明GPT-4能够实现与人类相当的解释能力，而GPT-3.5则未能达到。与人类标准相比，GPT-4在9个编码中有3个表现出优良的编码一致性（Cohen's $κ ext{≥}0.79$），8个编码中有7个表现出显著的一致性（$κ ext{≥}0.6$）。重要的是，当LLM被提示提供其编码决策的理由时，编码的准确性显著提高。我们还提出了一套最佳实践，以适应传统编码书的LLMs。

🔬 方法详解

问题定义：本论文旨在解决定性编码过程中的效率低下和主观性问题。现有方法依赖人工编码，耗时且容易受到个人理解的影响。

核心思路：通过利用大型语言模型（LLMs），尤其是GPT-4，自动化编码过程。论文强调链式思维推理的重要性，以提高模型的编码准确性和一致性。

技术框架：整体架构包括数据预处理、模型选择（GPT-4与GPT-3.5）、编码任务执行和结果评估四个主要模块。首先对文本进行预处理，然后选择合适的LLM进行编码，最后评估模型输出与人类标准的匹配程度。

关键创新：最重要的创新在于引入链式思维推理，促使模型在做出编码决策时提供理由，从而显著提高编码的准确性和一致性。这一方法与传统的直接编码方式有本质区别。

关键设计：在实验中，设置了多个编码标准，并使用Cohen's κ系数来评估编码一致性。模型的参数设置和损失函数设计均经过优化，以适应定性编码的特殊需求。具体细节包括对模型输入的格式化和输出的后处理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GPT-4在9个编码任务中有3个的Cohen's κ值达到0.79以上，8个任务中有7个超过0.6，而GPT-3.5的平均κ值仅为0.34，最大值为0.55。这表明GPT-4在定性编码任务中表现出显著的优势，尤其是在提供推理时。

🎯 应用场景

该研究的潜在应用领域包括社会科学、历史研究和人文学科的内容分析。通过自动化定性编码，研究者能够节省时间，专注于更具创造性的研究任务，提升研究效率。未来，随着模型的不断进步，AI编码可能成为大多数编码书的可行选择，推动相关领域的发展。

📄 摘要（原文）

Qualitative coding, or content analysis, extracts meaning from text to discern quantitative patterns across a corpus of texts. Recently, advances in the interpretive abilities of large language models (LLMs) offer potential for automating the coding process (applying category labels to texts), thereby enabling human researchers to concentrate on more creative research aspects, while delegating these interpretive tasks to AI. Our case study comprises a set of socio-historical codes on dense, paragraph-long passages representative of a humanistic study. We show that GPT-4 is capable of human-equivalent interpretations, whereas GPT-3.5 is not. Compared to our human-derived gold standard, GPT-4 delivers excellent intercoder reliability (Cohen's $κ\geq 0.79$) for 3 of 9 codes, and substantial reliability ($κ\geq 0.6$) for 8 of 9 codes. In contrast, GPT-3.5 greatly underperforms for all codes ($mean(κ) = 0.34$; $max(κ) = 0.55$). Importantly, we find that coding fidelity improves considerably when the LLM is prompted to give rationale justifying its coding decisions (chain-of-thought reasoning). We present these and other findings along with a set of best practices for adapting traditional codebooks for LLMs. Our results indicate that for certain codebooks, state-of-the-art LLMs are already adept at large-scale content analysis. Furthermore, they suggest the next generation of models will likely render AI coding a viable option for a majority of codebooks.