Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection
作者: Valeria Pastorino, Jasivan A. Sivakumar, Nafise Sadat Moosavi
分类: cs.CL
发布日期: 2024-02-18 (更新: 2026-04-07)
期刊: Proceedings of the 3rd Workshop on Natural Language Processing for Political Sciences (PoliticalNLP 2026) @ LREC 2026, pages 17-28
💡 一句话要点
提出系统评估方法以提升新闻框架检测的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 框架分析 大型语言模型 情感语言 数据集审计 跨领域泛化
📋 核心要点
- 现有的框架分析方法如人工标注和微调模型面临高成本和领域特异性等挑战，限制了其应用。
- 本文提出通过系统评估大型语言模型（LLMs）来提升框架检测的可靠性，特别关注提示设计对模型性能的影响。
- 实验结果表明，尽管LLMs在跨领域泛化上表现良好，但在模糊案例中仍存在系统性错误，尤其是情感语言的偏见。
📝 摘要（中文）
随着新闻报道的复杂性和多样性增加，框架分析在计算社会科学中变得至关重要但具有挑战性。传统方法如人工标注和微调模型受限于高标注成本、领域特异性和不一致的泛化能力。基于指令的大型语言模型（LLMs）提供了一种有前景的替代方案，但其在框架分析中的可靠性尚未充分理解。本文对多种LLMs（包括GPT-3.5/4、FLAN-T5和Llama 3）在零样本、少样本和基于解释的提示设置下进行了系统评估，发现模型性能对提示设计高度敏感，并在模糊案例中容易出现系统性错误。尽管LLMs，特别是GPT-4，展现出更强的跨领域泛化能力，但也表现出系统性偏见，尤其是将情感语言与框架混淆。为实现真实世界主题多样性的原则性评估，本文引入了一个新的跨领域新闻标题数据集。最后，通过分析多个模型在现有框架数据集上的一致性模式，展示了跨模型共识为识别有争议的标注提供了有用信号，提出了一种在低资源环境下进行数据集审计的实用方法。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在新闻框架检测中的可靠性不足问题。现有方法如人工标注和微调模型存在高成本和领域特异性，导致泛化能力差。
核心思路：通过系统评估多种大型语言模型（如GPT-3.5/4、FLAN-T5和Llama 3），探索其在不同提示设置下的表现，尤其是零样本和少样本学习的能力。
技术框架：研究采用了一个新的跨领域新闻标题数据集，评估模型在多样化主题下的表现。实验分为零样本、少样本和解释性提示三种设置，重点分析模型对提示设计的敏感性。
关键创新：引入新的数据集和评估方法，揭示了LLMs在框架检测中的系统性偏见，尤其是情感语言与框架的混淆，提供了新的视角来审视模型的可靠性。
关键设计：在实验中，模型的提示设计、参数设置和评估标准均经过精心设计，以确保结果的有效性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在跨领域泛化能力上优于其他模型，但在模糊案例中仍存在系统性错误，尤其是情感语言的偏见。通过引入新的数据集，研究提供了有效的评估框架，促进了对模型性能的深入理解。
🎯 应用场景
该研究的潜在应用领域包括新闻媒体、社交媒体分析和舆情监测等。通过提升框架检测的可靠性，可以更好地理解新闻报道的潜在偏见和影响，从而为政策制定和公众舆论提供支持。未来，该方法可能在低资源环境下的自动化数据集审计中发挥重要作用。
📄 摘要（原文）
The growing complexity and diversity of news coverage have made framing analysis a crucial yet challenging task in computational social science. Traditional approaches, including manual annotation and fine-tuned models, remain limited by high annotation costs, domain specificity, and inconsistent generalisation. Instruction-based large language models (LLMs) offer a promising alternative, yet their reliability for framing analysis remains insufficiently understood. In this paper, we conduct a systematic evaluation of several LLMs, including GPT-3.5/4, FLAN-T5, and Llama 3, across zero-shot, few-shot, and explanation-based prompting settings. Focusing on domain shift and inherent annotation ambiguity, we show that model performance is highly sensitive to prompt design and prone to systematic errors on ambiguous cases. Although LLMs, particularly GPT-4, exhibit stronger cross-domain generalisation, they also display systematic biases, most notably a tendency to conflate emotional language with framing. To enable principled evaluation under real-world topic diversity, we introduce a new dataset of out-of-domain news headlines covering diverse subjects. Finally, by analysing agreement patterns across multiple models on existing framing datasets, we demonstrate that cross-model consensus provides a useful signal for identifying contested annotations, offering a practical approach to dataset auditing in low-resource settings.