The "Colonial Impulse" of Natural Language Processing: An Audit of Bengali Sentiment Analysis Tools and Their Identity-based Biases
作者: Dipto Das, Shion Guha, Jed Brubaker, Bryan Semaan
分类: cs.CL, cs.CY, cs.HC, cs.LG
发布日期: 2024-01-19
💡 一句话要点
审计孟加拉情感分析工具以揭示身份偏见
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 情感分析 身份偏见 算法审计 孟加拉社区 殖民影响
📋 核心要点
- 现有情感分析工具在处理孟加拉社区的身份表达时存在显著的偏见，尤其是在性别、宗教和国籍等方面。
- 论文通过对Python包索引和GitHub上的孟加拉情感分析工具进行算法审计，揭示了这些工具的输出不一致性和身份偏见。
- 研究结果表明，情感分析工具在不同身份类别之间的表现差异显著，影响了其在实际应用中的有效性和公正性。
📝 摘要（中文）
本论文探讨了情感分析工具如何在孟加拉社区中延续殖民价值观和偏见。尽管这些工具在内容审核等实践中被广泛使用，但对其在殖民背景下的偏见问题关注较少。通过对现有孟加拉情感分析工具的算法审计，研究发现这些工具在不同身份类别之间存在偏见，并对身份表达的不同方式有不同的反应。论文讨论了这些发现与孟加拉社区的殖民文化结构之间的联系及其后续影响。
🔬 方法详解
问题定义：本论文旨在解决情感分析工具在孟加拉社区中可能存在的身份偏见问题。现有方法未能充分考虑殖民历史对身份表达的影响，导致工具输出的不一致性和偏见。
核心思路：通过对现有情感分析工具进行系统的算法审计，分析其在不同身份类别（如性别、宗教和国籍）下的表现差异，揭示潜在的偏见来源。
技术框架：研究首先收集所有可用的孟加拉情感分析工具，然后对其输出进行比较分析，重点关注不同身份表达方式的响应差异。
关键创新：本研究的创新在于将殖民影响与情感分析工具的偏见联系起来，提出了一个新的视角来审视这些工具的社会文化影响。与现有方法相比，强调了身份类别在情感分析中的重要性。
关键设计：在审计过程中，使用了标准化的测试集来评估工具的输出一致性，并分析了不同工具在处理相同输入时的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，不同的孟加拉情感分析工具在处理相同输入时输出存在显著差异，特别是在性别和宗教身份表达方面。某些工具在特定身份类别下的偏见程度高达30%，这表明了当前工具在实际应用中的局限性。
🎯 应用场景
该研究的潜在应用领域包括内容审核、社交媒体监控和市场分析等。通过识别和纠正情感分析工具中的身份偏见，可以提高这些工具在多元文化环境中的有效性和公正性，促进更公平的技术应用。
📄 摘要（原文）
While colonization has sociohistorically impacted people's identities across various dimensions, those colonial values and biases continue to be perpetuated by sociotechnical systems. One category of sociotechnical systems--sentiment analysis tools--can also perpetuate colonial values and bias, yet less attention has been paid to how such tools may be complicit in perpetuating coloniality, although they are often used to guide various practices (e.g., content moderation). In this paper, we explore potential bias in sentiment analysis tools in the context of Bengali communities that have experienced and continue to experience the impacts of colonialism. Drawing on identity categories most impacted by colonialism amongst local Bengali communities, we focused our analytic attention on gender, religion, and nationality. We conducted an algorithmic audit of all sentiment analysis tools for Bengali, available on the Python package index (PyPI) and GitHub. Despite similar semantic content and structure, our analyses showed that in addition to inconsistencies in output from different tools, Bengali sentiment analysis tools exhibit bias between different identity categories and respond differently to different ways of identity expression. Connecting our findings with colonially shaped sociocultural structures of Bengali communities, we discuss the implications of downstream bias of sentiment analysis tools.