MoralBERT: A Fine-Tuned Language Model for Capturing Moral Values in Social Discussions

📄 arXiv: 2403.07678v2 📥 PDF

作者: Vjosa Preniqi, Iacopo Ghinassi, Julia Ive, Charalampos Saitis, Kyriaki Kalimeri

分类: cs.CL, cs.CY

发布日期: 2024-03-12 (更新: 2024-07-19)

期刊: ACM 4th International Conference on Information Technology for Social Good (GoodIT 2024)

DOI: 10.1145/3677525.3678694

💡 一句话要点

提出MoralBERT以捕捉社交讨论中的道德价值观

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 道德价值观 自然语言处理 社交媒体分析 道德基础理论 语言模型 情感识别 领域对抗训练

📋 核心要点

  1. 现有方法在捕捉社交讨论中的道德价值观时，往往依赖于词典或传统的嵌入方法，效果有限。
  2. 本文提出MoralBERT，通过微调语言模型，结合道德基础理论，能够更有效地识别和理解文本中的道德情感。
  3. 实验结果显示，MoralBERT在领域内推理中，F1分数比传统方法提高了11%至32%，并且在领域外预测上表现优于聚合训练。

📝 摘要（中文）

道德价值观在我们评估信息、做出决策和形成判断时起着基础性作用。争议性话题如疫苗接种、堕胎、种族主义和性取向常常引发的意见和态度不仅基于证据，还反映了道德世界观。本文基于道德基础理论（MFT），提出了MoralBERT，一种经过微调的语言表示模型，旨在捕捉社交话语中的道德情感。我们描述了一个框架，进行聚合和领域对抗训练，使用来自Twitter、Reddit和Facebook的多个异构MFT人类标注数据集，展示了文本内容在社交媒体受众兴趣、内容呈现和传播模式上的多样性。实验结果表明，该框架的平均F1分数比基于词典的方法、Word2Vec嵌入和大型语言模型（如GPT-4）的零样本分类高出11%至32%。

🔬 方法详解

问题定义：本文旨在解决如何有效捕捉社交讨论中的道德价值观的问题。现有方法多依赖于词典和传统的嵌入技术，难以全面反映道德情感的复杂性。

核心思路：MoralBERT通过微调语言模型，结合道德基础理论（MFT），设计了一种新的框架，能够在多样化的社交媒体文本中识别道德情感，提升了模型的适应性和准确性。

技术框架：该框架包括聚合训练和领域对抗训练两个主要模块，使用多个异构数据集进行训练，确保模型在不同社交媒体平台上的有效性。

关键创新：MoralBERT的核心创新在于其结合了道德基础理论与现代语言模型的微调，显著提高了道德情感识别的准确性，与传统方法相比，能够更好地处理复杂的社交讨论。

关键设计：在模型设计中，采用了特定的损失函数以优化道德情感的识别效果，同时在训练过程中使用了领域对抗策略，以增强模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoralBERT在领域内推理中，平均F1分数比基于词典的方法和Word2Vec嵌入高出11%至32%。此外，领域对抗训练在领域外预测上表现优于聚合训练，且与零样本学习的性能相当，显示出其强大的适应性。

🎯 应用场景

MoralBERT的研究成果可广泛应用于社交媒体分析、舆情监测和道德教育等领域。通过更准确地捕捉道德情感，该模型能够帮助政策制定者、社会科学家和教育工作者更好地理解公众对争议性话题的态度，从而促进更有效的沟通与决策。

📄 摘要（原文）

Moral values play a fundamental role in how we evaluate information, make decisions, and form judgements around important social issues. Controversial topics, including vaccination, abortion, racism, and sexual orientation, often elicit opinions and attitudes that are not solely based on evidence but rather reflect moral worldviews. Recent advances in Natural Language Processing (NLP) show that moral values can be gauged in human-generated textual content. Building on the Moral Foundations Theory (MFT), this paper introduces MoralBERT, a range of language representation models fine-tuned to capture moral sentiment in social discourse. We describe a framework for both aggregated and domain-adversarial training on multiple heterogeneous MFT human-annotated datasets sourced from Twitter (now X), Reddit, and Facebook that broaden textual content diversity in terms of social media audience interests, content presentation and style, and spreading patterns. We show that the proposed framework achieves an average F1 score that is between 11% and 32% higher than lexicon-based approaches, Word2Vec embeddings, and zero-shot classification with large language models such as GPT-4 for in-domain inference. Domain-adversarial training yields better out-of domain predictions than aggregate training while achieving comparable performance to zero-shot learning. Our approach contributes to annotation-free and effective morality learning, and provides useful insights towards a more comprehensive understanding of moral narratives in controversial social debates using NLP.