Symphony of Bias: Exploring Gender Associations with Musical Instruments in Multimodal LLMs
作者: Farhan Farsi, Shayan Bali, Mohammad Heydari Rad, Negar Heidary, Donya Rooein
分类: cs.CL
发布日期: 2026-07-29
备注: 32 pages, 23 figures, 21 tables
💡 一句话要点
提出Symphony-Bias数据集以探讨多模态LLMs中的性别偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 性别偏见 多模态学习 大型语言模型 音乐工具 社会科学研究 数据集构建 模型评估
📋 核心要点
- 现有大型语言模型在性别偏见方面的研究较少，尤其是在与音乐工具的关联上。
- 本研究提出了Symphony-Bias数据集，通过多模态分析探讨乐器与性别的关联，填补了这一研究空白。
- 实验结果表明，92%的乐器与性别的关联符合社会科学研究，且不同模态对性别偏见的影响程度不同。
📝 摘要（中文）
大型语言模型（LLMs）在日常生活中越来越普遍，广泛用于信息检索，这引发了对其可能延续社会偏见和强化刻板印象的担忧。本研究通过音乐工具的性别关联探讨LLMs中的性别偏见。基于社会科学对乐器文化性别分类的研究，我们引入了Symphony-Bias，一个涵盖文本、视觉和音频的多模态数据集。我们评估了十种不同架构和规模的多模态模型，分析它们如何将22种乐器与三种性别类别（男性、女性、非二元性别）关联。结果显示，92%的乐器级结果与先前的社会科学发现一致，竖琴和鼓在所有评估模型和模态中表现出特别一致的性别关联。我们还发现，音频与社会刻板印象的对齐最弱，视觉较强，而文本最强，表明模态特定的表示可以差异化地放大乐器的性别关联。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型中存在的性别偏见问题，尤其是其与音乐工具的关联性。现有方法在多模态分析中缺乏对性别偏见的系统性研究，导致对模型行为的理解不足。
核心思路：论文通过引入Symphony-Bias数据集，结合文本、视觉和音频三种模态，系统性地分析乐器与性别的关联性，从而揭示LLMs在性别偏见方面的表现。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。首先构建多模态数据集，然后评估十种不同架构的多模态模型，最后分析模型在不同模态下的性别偏见表现。
关键创新：最重要的技术创新点在于构建了一个涵盖多模态的乐器性别偏见数据集，并通过系统评估揭示了不同模态对性别偏见的影响程度，这在现有研究中尚属首次。
关键设计：在模型训练中，采用了多种网络架构，并针对每种模态设计了特定的损失函数，以确保模型能够有效捕捉乐器与性别的关联性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，92%的乐器与性别的关联符合社会科学研究，竖琴和鼓在所有模型和模态中表现出一致的性别关联。不同模态对性别偏见的影响程度依次为文本最强、视觉较强、音频最弱，揭示了模态特定的表现差异。
🎯 应用场景
该研究的潜在应用领域包括教育、音乐推荐系统和社会科学研究。通过理解和减轻LLMs中的性别偏见，可以促进更公平的技术应用，减少社会刻板印象的传播，推动性别平等的实现。
📄 摘要（原文）
Large language models (LLMs) are increasingly embedded in everyday life and widely used for information seeking, raising concerns about their potential to perpetuate social biases and reinforce stereotypes. In this study, we investigate gender bias in LLMs through the lens of their associations with musical instruments. Building on social-science research on the cultural gender-typing of instruments, we introduce Symphony-Bias, a parallel multimodal dataset spanning text, vision, and audio. We evaluate ten multimodal models with diverse architectures and scales across 22 musical instruments, analyzing how they associate each instrument with three gender categories: {male, female, non-binary}, across three modalities: {text, vision, audio}. Our results show that 92\% of instrument-level outcomes align with prior social-science findings, with the harp and drums showing particularly consistent gendered associations across all evaluated models and modalities. We further find that alignment with social stereotypes is weakest in audio, stronger in vision, and strongest in text, suggesting that modality-specific representations can differentially amplify gendered associations with musical instruments.\footnote{The Symphony-Bias dataset will be publicly released upon acceptance of the paper.}