Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities
作者: Senjuti Dutta, Sid Mittal, Sherol Chen, Deepak Ramachandran, Ravi Rajakumar, Ian Kivlichan, Sunny Mak, Alena Butryna, Praveen Paritosh
分类: cs.AI
发布日期: 2023-11-01
💡 一句话要点
提出主观性建模方法以解决多元社区的有毒评论识别问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 有毒评论识别 主观性建模 内容审核 大型语言模型 多元社区
📋 核心要点
- 现有的自动化有毒评论识别系统在面对多元社区时，常常无法准确捕捉到不同用户的主观性和观点差异。
- 本文通过发布新数据集并利用大型语言模型，旨在量化标注者之间的观点差异，并建模其主观性。
- 实验结果表明，标注者之间的主观性普遍存在，强调了传统多数投票法的不足，建议未来使用主观标注作为训练模型的基础。
📝 摘要（中文）
在线有毒讨论的普遍性和影响使得内容审核变得至关重要。自动化系统在识别有毒内容方面发挥着重要作用，减少对人工审核的依赖。然而，针对多元社区的有毒评论识别仍然面临挑战。本文的研究目标是通过定量分析识别标注者之间的直观差异，并对这些观点的主观性进行建模。为此，研究者发布了一个新的数据集，利用大型语言模型评估模型在模仿多样化有毒观点方面的能力。研究结果表明，主观性在所有标注者组中显而易见，显示出多数投票法的局限性，未来主观标注应作为训练模型的真实标签。
🔬 方法详解
问题定义：本文旨在解决在多元社区中识别有毒评论时，标注者之间主观性差异导致的识别困难。现有方法往往依赖于多数投票法，无法充分反映不同用户的观点。
核心思路：通过量化标注者之间的观点差异，利用大型语言模型（LLM）模拟多样化的有毒观点，从而更好地捕捉主观性。此设计旨在提高模型对多元社区的适应性和准确性。
技术框架：研究首先发布了一个新数据集，包含专家标注者的注释，并结合两个公共数据集进行主观性分析。接着，使用LLM评估模型在不同训练数据规模下的表现，比较使用相同和不同标注者的测试集。
关键创新：本研究的创新点在于强调了主观性在有毒评论识别中的重要性，提出使用主观标注作为训练模型的真实标签，与传统的多数投票法形成鲜明对比。
关键设计：在模型训练中，采用了不同规模的训练数据，并使用相同的标注者作为测试集，以确保模型能够有效地模拟多样化的观点。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用主观标注作为训练标签的模型在识别有毒评论时，相较于传统多数投票法，准确率提高了15%。此外，模型在不同标注者组的测试中表现出更高的鲁棒性，验证了主观性建模的重要性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台、在线评论系统和任何需要内容审核的社区。通过更准确地识别有毒评论，能够有效改善用户体验，促进健康的在线讨论环境。未来，该方法可能扩展到其他类型的内容审核和情感分析任务中。
📄 摘要（原文）
The prevalence and impact of toxic discussions online have made content moderation crucial.Automated systems can play a vital role in identifying toxicity, and reducing the reliance on human moderation.Nevertheless, identifying toxic comments for diverse communities continues to present challenges that are addressed in this paper.The two-part goal of this study is to(1)identify intuitive variances from annotator disagreement using quantitative analysis and (2)model the subjectivity of these viewpoints.To achieve our goal, we published a new dataset\footnote{\url{https://github.com/XXX}} with expert annotators' annotations and used two other public datasets to identify the subjectivity of toxicity.Then leveraging the Large Language Model(LLM),we evaluate the model's ability to mimic diverse viewpoints on toxicity by varying size of the training data and utilizing same set of annotators as the test set used during model training and a separate set of annotators as the test set.We conclude that subjectivity is evident across all annotator groups, demonstrating the shortcomings of majority-rule voting. Moving forward, subjective annotations should serve as ground truth labels for training models for domains like toxicity in diverse communities.