Evaluating Large Language Models for Antisemitic Incident Classification
作者: Karina Halevy, Julia Mendelsohn, Chan Young Park, Yulia Tsvetkov, Maarten Sap
分类: cs.CL
发布日期: 2026-07-06
备注: Accepted to Digital Hate Review 2026 Issue 1
💡 一句话要点
提出大语言模型用于反犹太事件分类以应对仇恨事件监测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 仇恨事件检测 反犹太主义 大型语言模型 自动分类 社会监测
📋 核心要点
- 现有的仇恨事件自动识别方法尚未得到充分探索，导致对仇恨事件的及时检测能力不足。
- 论文提出通过大型语言模型（LLMs）进行反犹太事件的检测与分类，利用清晰的术语定义和上下文示例来提升模型性能。
- 实验结果表明，GPT-4o在反犹太事件分类任务中表现出色，但仍需改进，尤其是在处理复杂的仇恨事件时。
📝 摘要（中文）
本研究旨在及时检测社会中的仇恨事件，尤其是反犹太事件的自动识别。我们引入了仇恨事件检测任务，探讨了大型语言模型（LLMs）在发现和分类反犹太事件报告方面的能力。通过对OpenAI的GPT-4o和Meta的Llama-3.2-3B-Instruct进行评估，结果显示GPT-4o在此任务中展现出潜力，但仍需显著改进。提供清晰的术语定义和上下文示例可以提升模型性能，尤其是在处理修辞性事件和行动导向事件时。案例研究表明，LLMs能够帮助识别相关的现实事件，支持早期监测和干预。整体而言，研究强调了AI在识别复杂伤害方面的机会与关键缺口，呼吁AI开发者、政策制定者和民间社会的合作，以有效设计模型和政策框架。
🔬 方法详解
问题定义：本研究旨在解决仇恨事件，特别是反犹太事件的自动识别问题。现有方法在及时检测和分类仇恨事件方面存在不足，导致社会对这些事件的响应滞后。
核心思路：论文的核心思路是利用大型语言模型（LLMs）来识别和分类反犹太事件报告，强调提供清晰的术语定义和上下文示例以提升模型的分类性能。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据来源于新闻文章、民间社会报告和官方记录，模型则是基于GPT-4o和Llama-3.2-3B-Instruct进行训练和评估。
关键创新：最重要的技术创新在于通过提供明确的术语定义和上下文示例来增强模型对复杂仇恨事件的识别能力，这与传统的仅依赖数据训练的方法有本质区别。
关键设计：在模型训练中，采用了针对性的数据集和损失函数设计，以优化模型在不同类型仇恨事件上的表现，特别是在修辞性和行动导向事件的分类上。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4o在反犹太事件分类任务中表现优异，但仍需改进。通过提供清晰的术语定义和上下文示例，模型在处理修辞性事件时的性能提升显著，尤其是在分类准确率上有明显提高，展示了LLMs在仇恨事件检测中的潜力。
🎯 应用场景
该研究的潜在应用领域包括社会监测、新闻报道分析和政策制定等。通过提高对仇恨事件的自动识别能力，能够为社会提供更及时的反应机制，促进对仇恨行为的有效干预和政策制定，具有重要的社会价值和影响。未来，随着技术的进步，LLMs在更广泛的仇恨事件监测中可能发挥更大作用。
📄 摘要（原文）
Addressing hate and violence in society requires timely detection of hateful events from public reporting, but automated identification of hateful events remains underexplored. We introduce the task of hateful event detection and investigate the ability of AI systems, specifically large language models (LLMs), to discover and classify reports of antisemitic events with fine-grained labels. We evaluate OpenAI's GPT-4o and Meta's Llama-3.2-3B-Instruct on multiple expert-annotated datasets containing antisemitic event descriptions from news articles, civil society reports, and official records. We show that LLMs, particularly GPT-4o, have potential for this task, but substantial improvement is needed. Providing clear term definitions and in-context examples in prompts can improve performance: definitions are most helpful for rhetoric-oriented events (e.g. classical antisemitic tropes), while examples help label action-oriented events (e.g. physical assault). A case study of college newspapers demonstrates that LLMs can help surface relevant real-world events, supporting early monitoring and intervention. Overall, our findings highlight both opportunities and critical gaps in AI's ability to recognize complex harms and underscore the need for collaborative efforts among AI developers, policymakers, and civil society to design models, implement robust evaluation, and develop policy frameworks for defining and combating hate efficiently and effectively.