High Scores, Hidden Failures: Evaluating Codebook-Based LLM Content Analysis

📄 arXiv: 2610.35179v1 📥 PDF

作者: Elena Senger, Yuri Campbell, Rob van der Goot, Barbara Plank

分类: cs.CL, cs.CY

发布日期: 2026-10-26

备注: EMNLP Findings 2026

💡 一句话要点

评估LLM内容分析中的隐性失败与高分表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 内容分析 计算社会科学 失败模式 文本注释 鲁棒性 稳定性 优化策略

📋 核心要点

  1. 现有的LLM编码管道在文本注释的可靠性和稳健性方面存在显著不足，尤其是在高分数的情况下。
  2. 本文通过系统评估LLM编码管道的稳定性和鲁棒性，揭示了其在不同条件下的失败模式。
  3. 实验结果显示，当前的LLM编码管道在标准指标下表现良好，但存在严重的标签级差异和不稳定性。

📝 摘要（中文）

大型语言模型（LLMs）在计算社会科学中的代码本内容分析中越来越多地被使用，代码本将理论概念转化为标记方案。尽管先前的研究报告了强大的预测性能，但这些系统是否能产生可靠和稳健的文本注释仍不明确。本文对四个数据集和五个模型的LLM编码管道进行了大规模的实证失败模式分析，系统评估了其在受控扰动、领域转移和优化过程下的稳定性、鲁棒性和概念有效性。我们发现多种在标准指标下几乎不可见的失败模式，表明高聚合分数常常与严重的标签级差异、运行间的不稳定性、领域敏感性和标签解释的转变共存。这些失败模式在广泛使用的优化策略下依然存在，并在标准指标如准确率和微F1下大多不可见。我们的结果表明，当前的LLM编码管道不能被视为稳定的测量工具，需超越聚合性能进行针对性验证。

🔬 方法详解

问题定义：本文旨在解决LLM编码管道在内容分析中的可靠性和稳健性问题，现有方法在高分数下可能掩盖了潜在的失败模式。

核心思路：通过大规模的实证分析，系统评估LLM编码管道在不同扰动和领域转移下的表现，以揭示其隐性失败。

技术框架：研究采用四个数据集和五个不同的LLM模型，设计了控制实验以评估模型的稳定性、鲁棒性和概念有效性。

关键创新：本研究的创新在于揭示了高聚合分数与标签级差异之间的关系，强调了标准性能指标的局限性。

关键设计：实验中采用了多种优化策略，并在不同的领域转移和扰动条件下评估模型的表现，关注标签解释的变化和模型的稳定性。

📊 实验亮点

实验结果表明，尽管LLM编码管道在标准指标下表现良好，但在标签级别上存在显著的不稳定性和敏感性。具体而言，某些模型在高聚合分数下，标签解释的变化幅度达到30%以上，显示出其在不同条件下的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、市场分析和舆情监测等。通过提高LLM编码管道的可靠性，研究能够为社会科学领域提供更准确的文本分析工具，推动相关研究的深入发展。未来，改进的验证方法可能会影响LLM在其他领域的应用，如医疗文本分析和法律文书处理。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for codebook-based content analysis in computational social science, where codebooks translate theoretical concepts into labeling schemes. While prior work reports strong predictive performance, it remains unclear whether these systems produce reliable and robust text annotations. We conduct a large-scale empirical failure-mode analysis of LLM-based coding pipelines across four datasets and five models by systematically evaluating their stability, robustness, and conceptual validity under controlled perturbations, domain shifts, and optimization procedures. We uncover multiple failure modes that are largely invisible under standard metrics, showing that high aggregate scores frequently coexist with severe label-level disparities, instability across runs, domain sensitivity, and shifts in label interpretation. Importantly, these failure modes persist under widely used optimization strategies and remain largely invisible under standard metrics such as accuracy and micro-F1. Our results demonstrate that current LLM-based coding pipelines cannot be treated as stable measurement tools without targeted validation beyond aggregate performance.