POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization

📄 arXiv: 2505.20624v1 📥 PDF

作者: Usman Naseem, Juan Ren, Saba Anwar, Sarah Kohail, Rudy Alexandro Garrido Veliz, Robert Geislinger, Aisha Jabr, Idris Abdulmumin, Laiba Qureshi, Aarushi Ajay Borkar, Maryam Ibrahim Mukhtar, Abinew Ali Ayele, Ibrahim Said Ahmad, Adem Ali, Martin Semmann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

分类: cs.CL

发布日期: 2025-05-27

备注: Preprint

💡 一句话要点

提出POLAR数据集以解决在线极化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线极化 多语言处理 数据集构建 自然语言处理 计算社会科学

📋 核心要点

  1. 现有的计算社会科学研究大多集中于单一语言和文化，缺乏对多样化极化现象的全面理解。
  2. 论文提出了POLAR数据集，涵盖多种语言和文化背景，提供了丰富的极化标注，旨在提升对极化现象的研究。
  3. 实验结果表明，虽然模型在二元极化检测上表现良好，但在极化类型和表现的预测上存在显著不足，提示需要改进的方法。

📝 摘要（中文）

在线极化对民主话语构成日益严重的挑战，但大多数计算社会科学研究仍然是单语、文化狭窄或事件特定的。我们介绍了POLAR，一个多语言、多文化和多事件的数据集，包含来自七种语言的超过23,000个实例，涵盖多样的在线平台和现实事件。极化沿三个维度进行标注：存在性、类型和表现，使用适应于每种文化背景的多种标注平台。我们进行了两项主要实验：一是微调六种多语言预训练语言模型，二是评估多种开放和封闭的大型语言模型在少样本和零样本场景下的表现。结果显示，尽管大多数模型在二元极化检测上表现良好，但在预测极化类型和表现时得分显著降低。这些发现突显了极化的复杂性和高度上下文相关性，强调了在自然语言处理和计算社会科学中需要稳健、适应性强的方法。

🔬 方法详解

问题定义：论文旨在解决在线极化的多样性和复杂性问题，现有方法往往局限于单一语言或特定事件，无法全面捕捉极化现象的多维特征。

核心思路：通过构建POLAR数据集，涵盖多语言和多文化背景，提供丰富的极化标注，帮助研究者更好地理解和应对在线极化问题。

技术框架：整体架构包括数据收集、标注、模型微调和评估四个主要阶段。数据收集阶段从多样的在线平台获取实例，标注阶段则根据文化背景进行极化的多维标注。

关键创新：最重要的创新在于构建了一个多语言、多文化的极化数据集，并在此基础上进行模型的微调和评估，填补了现有研究的空白。

关键设计：在模型微调中，采用了六种多语言预训练模型，并在少样本和零样本场景下进行评估，使用了适应性强的损失函数和网络结构以提高模型的泛化能力。

📊 实验亮点

实验结果显示，大多数模型在二元极化检测上表现良好，准确率超过80%，但在极化类型和表现的预测上得分显著降低，平均准确率下降至60%以下。这一发现强调了极化现象的复杂性，提示需要更为精细的模型设计。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、舆情监测和政策制定等。通过提供多样化的极化数据集，研究者和政策制定者可以更有效地理解和应对数字极化现象，从而促进更健康的公共讨论和民主参与。

📄 摘要（原文）

Online polarization poses a growing challenge for democratic discourse, yet most computational social science research remains monolingual, culturally narrow, or event-specific. We introduce POLAR, a multilingual, multicultural, and multievent dataset with over 23k instances in seven languages from diverse online platforms and real-world events. Polarization is annotated along three axes: presence, type, and manifestation, using a variety of annotation platforms adapted to each cultural context. We conduct two main experiments: (1) we fine-tune six multilingual pretrained language models in both monolingual and cross-lingual setups; and (2) we evaluate a range of open and closed large language models (LLMs) in few-shot and zero-shot scenarios. Results show that while most models perform well on binary polarization detection, they achieve substantially lower scores when predicting polarization types and manifestations. These findings highlight the complex, highly contextual nature of polarization and the need for robust, adaptable approaches in NLP and computational social science. All resources will be released to support further research and effective mitigation of digital polarization globally.