Evaluating LLMs as Judges of Counterspeech Quality Against Online Hate Speech

📄 arXiv: 2611.04627v1 📥 PDF

作者: Johnny Alali, Nicolás Benjamín Ocampo, Davide Ceolin

分类: cs.CL

发布日期: 2026-11-03

💡 一句话要点

评估大型语言模型在反对网络仇恨言论中的反驳质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 仇恨言论 反驳质量评估 社交媒体 内容审核

📋 核心要点

  1. 现有的人工评估方法难以应对网络内容的庞大规模，且对评估者造成情感负担。
  2. 本文提出利用大型语言模型（LLMs）进行反驳质量评估，探索其在不同提示方式下的有效性。
  3. 实验结果显示，LLMs在与人类专家的评估一致性上表现一般，但通过优化评分方式可显著提升一致性。

📝 摘要（中文）

在社交媒体上，长期接触仇恨言论可能导致用户产生持久的心理困扰。反驳言论作为一种有效的非审查性缓解策略，其质量评估至关重要。然而，人工评估由于内容量巨大而难以扩展，并对评估者造成情感压力。本文探讨了大型语言模型（LLMs）在这一任务中的有效性，测试了12种不同规模和类型的LLMs，评估其在反驳质量的相关性、一致性、攻击性和适宜性四个维度上的表现。研究发现，LLMs与人类专家的评估一致性较低，但通过将点对点评分转换为成对标签，可以显著提高一致性。最好的模型配置在一致性评估中取得了可观的结果。

🔬 方法详解

问题定义：本文旨在解决如何有效评估网络仇恨言论的反驳质量的问题。现有的人工评估方法由于内容量庞大而难以扩展，且对评估者造成情感压力。

核心思路：论文提出利用大型语言模型（LLMs）作为评估工具，通过零-shot、few-shot和链式思维提示等方式，模拟人类专家的评估过程。

技术框架：整体架构包括数据收集、模型选择、提示设计和评估指标。研究中测试了12种不同的LLMs，评估其在四个维度上的表现。

关键创新：最重要的创新在于将点对点评分转换为成对标签，从而显著提高了LLMs与人类专家之间的一致性。这一方法在现有的评估框架中尚属首次。

关键设计：在实验中，选择了不同规模的LLMs，并针对一致性评估设计了特定的提示方式。通过对比不同模型的表现，发现某些配置在成对评估中表现优异。

📊 实验亮点

实验结果表明，最佳模型配置Qwen 2.5 72B在一致性评估中达到了线性加权Cohen's $κ_l = 0.19$和Spearman's $ρ= 0.42$。通过将点对点评分转换为成对标签，Qwen 2.5 72B的Cohen's $κ$提升至0.35，Mixtral 8×7B的提升幅度更是从0.07增至0.34，显示出显著的改进。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、在线社区管理和仇恨言论的自动检测与反驳。通过提高反驳质量评估的效率，能够更好地保护用户心理健康，促进网络环境的和谐。未来，随着LLMs技术的进步，该方法有望在更广泛的内容审核和社会治理中发挥重要作用。

📄 摘要（原文）

Prolonged exposure to hate speech on social media can cause lasting psychological distress among users. Counterspeech has emerged as an effective, non-censorial mitigation strategy, but its deployment requires rigorous quality assessment. Manual assessment is unscalable due to the large volume of content on the Web and imposes severe emotional strain on human annotators. Large Language Models (LLMs) offer a scalable alternative, yet concerns remain regarding their reliability. In this paper, we investigate the extent to which LLMs can effectively perform this task. We test 12 open-weight LLMs of different sizes and families under zero-shot, few-shot, and chain-of-thought prompting, to approximate pointwise and pairwise human expert assessment of counterspeech quality across four dimensions: relevance, coherence, aggressiveness, and suitableness. We find that (i) LLMs show low agreement and moderate rank correlations with human experts: our best configuration, Qwen 2.5 72B on coherence, achieves up to a linear-weighted Cohen's $κ_l = 0.19$ and Spearman's $ρ= 0.42$ in pointwise evaluation and an unweighted Cohen's $κ= 0.25$ in pairwise evaluation. (ii) Converting pointwise scores into pairwise labels substantially improves human--LLM agreement for selected configurations. For same-instance coherence, Qwen 2.5 72B under zero-shot prompting achieves $κ= 0.35$ with converted labels, compared with $κ= 0.25$ when judging pairs directly, and Mixtral 8$\times$7B under few-shot prompting improves from $κ= 0.07$ to $κ= 0.34$. (iii) LLMs agree more with one another than with human experts, particularly in pairwise evaluation, where the strongest model pair, OLMo 2 32B and Llama 3.3 70B on coherence, reaches substantial agreement with $κ= 0.76$, whereas their agreement with the experts in the same configuration does not exceed $κ= 0.21$.