Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News

📄 arXiv: 2606.26489v1 📥 PDF

作者: Raven Adam, David Maier, Marie Kogler

分类: cs.CL

发布日期: 2026-06-25

备注: 15 pages

💡 一句话要点

比较BERT与少量示例LLM提示在德语气候新闻中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 气候变化 文本分类 BERT 少量示例 语言模型 自动化检测 媒体分析

📋 核心要点

  1. 现有方法在自动检测气候新闻中的威胁和解决方案框架时面临挑战，尤其是在处理大量文本时的效率问题。
  2. 论文提出通过少量示例提示与微调BERT模型相结合的方法，以提高句子级别的分类准确性。
  3. 实验结果显示，微调的BERT模型在威胁和解决方案任务上分别达到0.83的F1分数，显著优于LLM方法的0.78。

📝 摘要（中文）

新闻媒体在塑造公众对气候变化的认知中发挥着重要作用，报道中强调威胁或解决方案会对观众参与度和政策支持产生可测量的影响。自动检测这些框架模式的句子级别分析将使研究人员能够分析大量无法手动编码的语料库。本文系统比较了两种方法，将德语气候新闻文章中的句子分类为威胁导向、解决方案导向、两者兼有或均不属于。第一种方法使用开放权重的大型语言模型（Llama 4 Maverick）进行少量示例提示，采用思维链推理和结构化输出及置信度评分。第二种方法则对德语BERT模型（deepset/gbert-large）进行微调，以进行句子对分类。两种方法均实现了两个独立的二元分类器，分别用于威胁框架和解决方案框架的分类。实验结果表明，微调的BERT分类器在威胁和解决方案任务上均达到0.83的F1分数，而基于LLM的分类器则为0.78。

🔬 方法详解

问题定义：本文旨在解决德语气候新闻中威胁与解决方案框架的自动检测问题。现有方法在处理大规模文本时效率低下，且手动编码不切实际。

核心思路：论文提出结合少量示例提示与微调BERT模型的方法，通过提供上下文信息来提升分类性能。这样的设计旨在利用上下文增强模型的理解能力。

技术框架：整体架构包括两个主要模块：一是基于少量示例的开放权重大型语言模型（Llama 4 Maverick），二是微调的德语BERT模型（deepset/gbert-large）。每个模块分别实现威胁和解决方案的二元分类。

关键创新：最重要的创新在于通过上下文句子提供信息，显著提升了BERT模型的分类性能，与传统的单句输入方法相比，效果更佳。

关键设计：在BERT模型的微调过程中，采用了特定的损失函数和参数设置，以优化句子对分类的效果。实验中还进行了消融研究，验证了上下文信息对分类性能的提升。

📊 实验亮点

实验结果显示，微调的BERT分类器在威胁和解决方案任务上均达到0.83的F1分数，显著高于基于LLM的分类器0.78，表明上下文信息的提供对分类性能有显著提升。消融研究进一步确认了这一点。

🎯 应用场景

该研究的潜在应用领域包括气候变化传播研究、媒体分析以及政策制定支持。通过自动化的框架检测，研究人员能够更高效地分析和理解气候新闻的影响，从而为公众政策提供数据支持。未来，该方法可扩展至其他语言和领域的文本分类任务。

📄 摘要（原文）

News media play a central role in shaping public perceptions of climate change, and whether coverage emphasizes threats or solutions has measurable effects on audience engagement and policy support. Automated detection of these framing patterns at the sentence level would allow researchers to analyze large corpora that are infeasible to code manually. We present a systematic comparison of two approaches for classifying sentences from German-language climate news articles as threat-oriented, solution-oriented, both, or neither. The first approach uses few-shot prompting with an open-weights large language model (Llama 4 Maverick), employing chain-of-thought reasoning and structured output with confidence scoring. The second approach fine-tunes a German BERT model (deepset/gbert-large) for sentence-pair classification, where the preceding sentence provides contextual information for the target sentence. Both approaches implement two independent binary classifiers, one for threat framing and one for solution framing. We evaluate both methods on a corpus of 440 Austrian newspaper articles that were manually coded following a detailed coding scheme developed with domain experts. The fine-tuned BERT classifiers achieve an F1 score of 0.83 for both the threat and solution tasks, while the LLM-based classifiers reach an F1 of 0.78. An ablation study confirms that providing the preceding sentence as context improves BERT classification performance substantially compared to single-sentence input. These results contribute to the growing body of work comparing fine-tuned encoder models with prompted generative models for text classification in computational social science.