Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion Related to Harms of Misinformation

📄 arXiv: 2401.16558v1 📥 PDF

作者: Terrence Neumann, Sooyong Lee, Maria De-Arteaga, Sina Fazelpour, Matthew Lease

分类: cs.CY, cs.CL

发布日期: 2024-01-29

备注: Under Review

💡 一句话要点

探讨大型语言模型在信息失实危害评估中的性别差异放大问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息失实 大型语言模型 性别差异 事实核查 数据集构建 社会观点

📋 核心要点

  1. 现有的事实核查方法在处理信息失实时，未能充分考虑不同群体的意见差异，可能导致资源分配不均。
  2. 本文提出利用大型语言模型（LLM）来评估信息失实的危害，并通过性别视角分析不同群体的观点。
  3. 研究结果表明，GPT 3.5-Turbo能够反映性别差异，但在程度上有所放大，为AI在信息核查中的应用提供了新视角。

📝 摘要（中文）

信息失实和虚假信息的广泛传播对社会构成了重大威胁。专业的事实核查者在应对这一威胁中发挥着关键作用，但由于问题的规模庞大，他们必须优先考虑有限的资源。本文研究了使用大型语言模型（LLM）来促进这种优先排序的潜在影响，重点关注性别作为主要变量。我们提出了TopicMisinfo数据集，包含160个经过事实核查的声明及近1600个人类注释，分析了性别特定和中性提示的响应，发现GPT 3.5-Turbo反映了观察到的性别意见差异，但放大了这些差异的程度。这些发现揭示了AI在调节在线交流中的复杂角色，并对事实核查者、算法设计者及众包工作者的使用具有重要意义。

🔬 方法详解

问题定义：本文旨在探讨如何有效利用大型语言模型（LLM）来评估信息失实对不同性别群体的影响，现有方法在考虑性别差异时存在放大效应的问题。

核心思路：通过构建TopicMisinfo数据集，结合性别特定和中性提示，分析不同性别在社会相关话题上的观点差异，以此来优化事实核查的优先排序。

技术框架：研究流程包括数据集构建、提示设计、模型响应分析等多个阶段，重点在于如何通过LLM反映和分析性别差异。

关键创新：最重要的创新在于揭示了LLM在反映性别差异时的放大效应，这一发现与传统的事实核查方法形成鲜明对比，强调了AI在社会问题中的复杂性。

关键设计：在数据集构建中，采用了160个经过事实核查的声明和近1600个注释，设计了性别特定和中性提示，以确保多样化的观点被充分考虑。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，GPT 3.5-Turbo在处理性别特定提示时，能够准确反映性别差异，但在程度上放大了这些差异。这一发现为AI在信息核查中的应用提供了重要的实证支持，提示我们在设计相关算法时需谨慎考虑性别因素。

🎯 应用场景

该研究的潜在应用领域包括信息核查、社交媒体内容管理和算法设计等。通过更好地理解性别差异在信息传播中的作用，相关机构可以优化资源配置，提高信息核查的效率和准确性，进而增强公众对信息的信任度。

📄 摘要（原文）

The pervasive spread of misinformation and disinformation poses a significant threat to society. Professional fact-checkers play a key role in addressing this threat, but the vast scale of the problem forces them to prioritize their limited resources. This prioritization may consider a range of factors, such as varying risks of harm posed to specific groups of people. In this work, we investigate potential implications of using a large language model (LLM) to facilitate such prioritization. Because fact-checking impacts a wide range of diverse segments of society, it is important that diverse views are represented in the claim prioritization process. This paper examines whether a LLM can reflect the views of various groups when assessing the harms of misinformation, focusing on gender as a primary variable. We pose two central questions: (1) To what extent do prompts with explicit gender references reflect gender differences in opinion in the United States on topics of social relevance? and (2) To what extent do gender-neutral prompts align with gendered viewpoints on those topics? To analyze these questions, we present the TopicMisinfo dataset, containing 160 fact-checked claims from diverse topics, supplemented by nearly 1600 human annotations with subjective perceptions and annotator demographics. Analyzing responses to gender-specific and neutral prompts, we find that GPT 3.5-Turbo reflects empirically observed gender differences in opinion but amplifies the extent of these differences. These findings illuminate AI's complex role in moderating online communication, with implications for fact-checkers, algorithm designers, and the use of crowd-workers as annotators. We also release the TopicMisinfo dataset to support continuing research in the community.