From Individuals to Interactions: Benchmarking Gender Bias in Multimodal Large Language Models from the Lens of Social Relationship

📄 arXiv: 2506.23101v1 📥 PDF

作者: Yue Xu, Wenjie Wang

分类: cs.CL, cs.AI, cs.CY

发布日期: 2025-06-29

💡 一句话要点

提出Genres基准以评估多模态大语言模型中的性别偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性别偏见 多模态大语言模型 社交关系 叙事生成 偏见评估 人际互动 关系感知

📋 核心要点

  1. 现有的性别偏见评估方法主要集中在孤立的个体上，忽视了人际互动中潜在的偏见表现。
  2. 本文提出Genres基准，通过双角色互动和叙事生成任务，深入分析性别偏见在社交关系中的表现。
  3. 实验结果显示，在双角色设置下，MLLMs存在显著的情境敏感性性别偏见，强调了关系感知评估的重要性。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉和文本任务中展现出卓越的能力，但其可能编码和放大性别偏见的担忧日益增加。现有基准主要评估孤立场景中的偏见，忽视了人际互动中偏见的微妙表现。本文通过引入Genres基准，聚焦于双个体互动中的关系性和情境性性别偏见，提供了一种新的评估方法。Genres通过双角色档案和叙事生成任务，捕捉丰富的人际动态，支持多维度的细粒度偏见评估。实验结果表明，MLLMs在双角色设置中存在持续的、情境敏感的性别偏见，这在单角色设置中并不明显。研究强调了关系感知基准在识别微妙的、互动驱动的性别偏见中的重要性，并为未来的偏见缓解提供了可行的见解。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLMs）中性别偏见评估的不足，现有方法主要集中在单一个体的偏见，未能捕捉到人际互动中的微妙偏见表现。

核心思路：通过引入Genres基准，论文关注双个体互动中的性别偏见，利用叙事生成任务来捕捉丰富的人际关系动态，从而实现更细致的偏见评估。

技术框架：Genres基准包括双角色档案生成和叙事生成两个主要模块，首先生成两个角色的背景信息，然后基于这些信息生成互动叙事，以评估其中的性别偏见。

关键创新：最重要的创新在于将性别偏见评估从单一角色扩展到双角色互动，揭示了在社交关系中性别偏见的复杂性和情境依赖性。

关键设计：在模型设计上，采用了多维度的偏见评估指标，结合了角色特征和叙事内容的分析，确保评估的全面性和细致性。实验中使用了多种损失函数来优化生成的叙事质量和偏见表现。

📊 实验亮点

实验结果表明，在双角色设置下，MLLMs表现出显著的性别偏见，尤其是在情境敏感性方面。与单角色评估相比，偏见的表现形式更加复杂，强调了关系感知评估的重要性。具体数据表明，某些模型在双角色互动中偏见评分提高了20%以上，揭示了传统评估方法的局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容生成、虚拟助手和教育工具等，能够帮助开发者识别和缓解多模态大语言模型中的性别偏见，从而提升模型在社会敏感应用中的公平性和可靠性。未来，该研究可能推动更广泛的偏见检测和修正技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have shown impressive capabilities across tasks involving both visual and textual modalities. However, growing concerns remain about their potential to encode and amplify gender bias, particularly in socially sensitive applications. Existing benchmarks predominantly evaluate bias in isolated scenarios, overlooking how bias may emerge subtly through interpersonal interactions. We fill this gap by going beyond single-entity evaluation and instead focusing on a deeper examination of relational and contextual gender bias in dual-individual interactions. We introduce Genres, a novel benchmark designed to evaluate gender bias in MLLMs through the lens of social relationships in generated narratives. Genres assesses gender bias through a dual-character profile and narrative generation task that captures rich interpersonal dynamics and supports a fine-grained bias evaluation suite across multiple dimensions. Experiments on both open- and closed-source MLLMs reveal persistent, context-sensitive gender biases that are not evident in single-character settings. Our findings underscore the importance of relationship-aware benchmarks for diagnosing subtle, interaction-driven gender bias in MLLMs and provide actionable insights for future bias mitigation.