IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
作者: Nihar Ranjan Sahoo, Pranamya Prashant Kulkarni, Narjis Asad, Arif Ahmad, Tanu Goyal, Aparna Garimella, Pushpak Bhattacharyya
分类: cs.CL
发布日期: 2024-03-29 (更新: 2024-04-03)
💡 一句话要点
提出IndiBias以评估印度语境下语言模型的社会偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社会偏见 语言模型 数据集 印地语 交叉偏见 自然语言处理 人工智能伦理
📋 核心要点
- 现有的语言模型偏见评估主要集中在英语和西方文化，缺乏针对印度社会文化的专门数据集。
- IndiBias通过筛选和翻译CrowS-Pairs数据集，并结合大型语言模型，创建了适合印度语境的社会偏见基准数据集。
- 实验结果表明，评估的语言模型在大多数交叉群体中表现出更高的偏见，揭示了模型在处理印度特有偏见时的不足。
📝 摘要（中文）
社会偏见在语言数据中的普遍影响促使了对基准数据集的需求，以捕捉和评估大型语言模型中的这些偏见。现有研究主要集中在英语和西方语境，缺乏适合印度独特社会文化特征的可靠数据集。为此，我们提出IndiBias，这是一个专门为评估印度语境中的社会偏见而设计的综合基准数据集。我们通过筛选和翻译现有的CrowS-Pairs数据集，创建了适合印度语境的基准数据集，并利用ChatGPT和InstructGPT等大型语言模型丰富数据集，涵盖性别、宗教、种姓、年龄、地区、外貌和职业等偏见维度。我们的数据集包含800对句子和300个用于不同人口统计的偏见测量元组，提供了与现有基准数据集相当的规模。
🔬 方法详解
问题定义：本研究旨在解决现有语言模型在评估社会偏见时缺乏针对印度文化背景的数据集的问题。现有方法主要集中在英语和西方文化，无法有效捕捉印度的社会偏见。
核心思路：论文的核心思路是创建一个专门针对印度语境的基准数据集IndiBias，通过翻译和筛选现有数据集，并结合大型语言模型生成多样的偏见示例，以全面评估语言模型的社会偏见。
技术框架：整体架构包括数据集的构建、偏见维度的定义、数据的收集与处理，以及基于不同语言模型的评估。主要模块包括数据集生成、偏见测量和模型评估。
关键创新：最重要的技术创新点在于IndiBias数据集的创建，它不仅填补了印度语境下的偏见评估空白，还通过交叉偏见维度的引入，提供了更全面的评估标准。
关键设计：数据集中包含800对句子和300个偏见测量元组，涵盖性别、宗教、种姓等多个维度，数据集同时提供英语和印地语版本，确保了与现有基准数据集的规模相当。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的十种语言模型在多个偏见测量指标上表现出更高的偏见，尤其是在交叉群体中，偏见程度显著高于基线模型。这一发现强调了在多样化社会背景下，语言模型的偏见问题亟需关注和解决。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、社会科学研究和人工智能伦理等。IndiBias数据集能够帮助研究人员和开发者更好地理解和评估语言模型中的社会偏见，从而推动更公平和包容的人工智能系统的开发，具有重要的实际价值和社会影响。
📄 摘要（原文）
The pervasive influence of social biases in language data has sparked the need for benchmark datasets that capture and evaluate these biases in Large Language Models (LLMs). Existing efforts predominantly focus on English language and the Western context, leaving a void for a reliable dataset that encapsulates India's unique socio-cultural nuances. To bridge this gap, we introduce IndiBias, a comprehensive benchmarking dataset designed specifically for evaluating social biases in the Indian context. We filter and translate the existing CrowS-Pairs dataset to create a benchmark dataset suited to the Indian context in Hindi language. Additionally, we leverage LLMs including ChatGPT and InstructGPT to augment our dataset with diverse societal biases and stereotypes prevalent in India. The included bias dimensions encompass gender, religion, caste, age, region, physical appearance, and occupation. We also build a resource to address intersectional biases along three intersectional dimensions. Our dataset contains 800 sentence pairs and 300 tuples for bias measurement across different demographics. The dataset is available in English and Hindi, providing a size comparable to existing benchmark datasets. Furthermore, using IndiBias we compare ten different language models on multiple bias measurement metrics. We observed that the language models exhibit more bias across a majority of the intersectional groups.