Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication
作者: Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck
分类: cs.LG, cs.CY
发布日期: 2026-06-25
备注: 34 pages, 4 tables, 3 Annexes
💡 一句话要点
评估大型语言模型在定性人道数据编码中的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 人道主义数据 定性分析 编码可靠性 数据治理 机器学习 社会科学
📋 核心要点
- 人道主义组织在分析受影响人群数据时面临人员不足和专业知识缺乏的挑战。
- 本文提出通过比较46个大型语言模型与人类专家的编码结果，评估其在定性人道数据编码中的可靠性。
- 研究结果表明，多个LLM在特定条件下的编码可靠性与经验丰富的编码者相当，但仍需人类判断的补充。
📝 摘要（中文）
受影响人群的数据对于人道主义响应至关重要，但其价值依赖于对需求细微表述的及时和一致的解读。人道组织通常缺乏分析这些信息所需的人员、时间和专业知识。本文基于150个高保真合成的人道主义转录文本，比较了46个大型语言模型（LLMs）与人类专家的编码结果。评估结合了评审者间可靠性测试、Krippendorff's alpha、差异分析以及针对人道特定标准的定性评估。研究发现，多个LLM在结构化提示和推理启用配置下，能够以与经验丰富的人类编码者相当的可靠性进行演绎编码。尽管如此，单一的聚合可靠性指标不足以支持部署决策。研究表明，LLM可以显著扩展人道分析能力，但不能替代人类判断。适当使用需要结构化编码手册、推理启用模型、关注主题特定性能和分层监督。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在定性人道数据编码中的可靠性问题。现有方法面临人力资源不足和分析能力有限的挑战。
核心思路：通过对46个大型语言模型进行基准测试，与人类专家的编码结果进行比较，验证LLM在处理复杂人道数据时的有效性。
技术框架：研究采用了高保真合成的人道主义转录文本，结合评审者间可靠性测试、Krippendorff's alpha和定性评估等多种方法，构建了综合评估框架。
关键创新：本文的主要创新在于系统性地评估LLM在定性数据编码中的表现，特别是在处理间接表达的需求和非标准沟通风格方面的能力。
关键设计：研究中使用了结构化提示和推理启用的配置，确保模型在特定主题上的表现得到优化，同时强调了对编码手册和监督机制的需求。
📊 实验亮点
实验结果显示，多个大型语言模型在定性人道数据编码中的可靠性与经验丰富的人类编码者相当，尤其是在使用结构化提示和推理启用配置时。尽管聚合可靠性指标表现良好，但模型在识别间接需求和保护相关问题方面存在差异，提示了进一步优化的必要性。
🎯 应用场景
该研究的潜在应用领域包括人道主义援助、社会科学研究和数据分析等。通过提高对定性数据的分析能力，LLM可以帮助人道组织更有效地响应受影响人群的需求，提升决策质量和效率。未来，随着技术的进步，LLM在此领域的应用将可能带来更深远的影响。
📄 摘要（原文）
Data from affected populations are crucial for informing humanitarian response, but their value depends on timely and consistent interpretation of nuanced accounts of need. Humanitarian organizations often lack the staff, time, and specialist expertise required to analyze this information at scale. Large language models (LLMs) may expand this capacity, but their reliability for coding qualitative humanitarian data has not been directly established. This benchmark study compares 46 LLMs to a human Gold Standard using 150 high-fidelity synthetic humanitarian transcripts. Evaluation combined inter-rater reliability testing with Krippendorff's alpha, discrepancy analysis distinguishing correct, near-correct, and incorrect codes, and qualitative assessment across humanitarian-specific criteria including discrimination, complex needs hierarchies, and non-standard communication styles. The authors find that multiple LLMs can perform deductive coding at reliability levels comparable to experienced human coders, especially when structured prompts and reasoning-enabled configurations are used. At the same time, aggregate reliability metrics alone are insufficient for deployment decisions. Models varied in recognizing needs expressed indirectly, needs outside predefined categories, and protection-relevant concerns such as physical safety and discrimination. These findings suggest that LLMs can materially expand humanitarian analytical capacity, but not as substitutes for human judgment. Appropriate use requires structured codebooks, reasoning-enabled models, attention to theme-specific performance, and tiered oversight focused on categories where miscoding would have the greatest programmatic consequences. For sensitive humanitarian data, open-weights models deployed on self-hosted infrastructure may offer a viable path for combining analytical scalability with stronger data governance.