StylisticBias: A Few Human Visual Cues Drive Most Social Biases in MLLMs
作者: Shaghayegh Kolli, Timo Cavelius, Nafiseh Nikeghbal, Samantha Dalal, Jana Diesner
分类: cs.CL, cs.CV
发布日期: 2026-06-18
备注: Accepted to the non-archival workshops AI4Good and Culture x AI at ICML 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出StylisticBias基准以评估多模态大语言模型中的社会偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 社会偏见 视觉线索 属性级评估 图像生成 公平性 透明度
📋 核心要点
- 现有研究往往比较不同个体，难以分离外观与身份的影响，导致对视觉线索的理解不足。
- 本文提出StylisticBias基准，通过生成大量图像并控制单一属性，系统评估MLLMs中的社会偏见。
- 实验结果显示，约15个视觉属性导致了80%的偏见变化，尤其在与外观相关的判断中敏感性最强。
📝 摘要（中文）
多模态大语言模型（MLLMs）在个人和社会重要场景中的应用日益增多，但影响这些模型判断人类的视觉线索尚不清楚。现有研究通常比较不同个体，使得难以分离外观效应与身份差异。本文提出StylisticBias，一个用于评估MLLMs中属性级社会偏见的控制基准。我们生成了500个逼真的基础面孔，并为每个面孔创建约50个单属性变体，总计约25K张图像。这种设计保持身份不变，同时逐一改变视觉属性，从而测量特定线索如何影响模型判断。我们评估了六个MLLMs在25个二元社会判断场景中的表现，发现年龄和体型主导身份级效应，而时尚风格等视觉线索则驱动了最大的属性级变化。约15个属性占据了近80%的总变化，表明偏见集中在少数视觉线索上。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型中社会偏见的评估问题，现有方法难以准确分离外观与身份的影响，导致偏见来源不明。
核心思路：通过引入StylisticBias基准，生成大量控制变量的图像，逐一改变视觉属性，以便精确测量其对模型判断的影响。
技术框架：整体架构包括生成500个基础面孔及其50个单属性变体，形成约25K张图像，随后在25个二元社会判断场景中评估六个MLLMs的表现。
关键创新：最重要的技术创新在于通过控制实验设计，揭示了少数视觉属性对社会偏见的主导作用，与传统方法相比，提供了更细致的偏见分析。
关键设计：在图像生成过程中，保持身份不变，逐一调整属性，确保实验的可控性和准确性，使用标准化的评估指标来量化模型的判断变化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，年龄和体型是影响身份级效应的主要因素，而时尚风格等视觉线索则导致了最大的属性级变化。约15个视觉属性占据了近80%的偏见变化，显示出偏见的集中性。
🎯 应用场景
该研究为多模态大语言模型的社会偏见评估提供了新的基准，具有广泛的应用潜力。未来可用于改进模型的公平性和透明度，帮助开发更具社会责任感的人工智能系统，尤其在招聘、广告和社交媒体等领域。
📄 摘要（原文）
Multimodal large language models (MLLMs) are increasingly deployed in personally and societally consequential settings, yet the visual cues that shape how these models judge people remain poorly understood. Prior work often compares different (groups of) individuals, making it difficult to separate appearance effects from identity differences. We introduce StylisticBias, a controlled benchmark for evaluating attribute-level social bias in MLLMs. We generate 500 photorealistic base faces and create about 50 single-attribute variations per face, producing about 25K images. This design keeps identity fixed and changes one visual attribute at a time. It lets us measure how specific cues shift model judgments. We evaluate six MLLMs across 25 binary social judgment scenarios. We find that age and body type dominate identity-level effects, while fashion style and other visual cues drive the largest attribute-level shifts. We further find that about 15 attributes account for nearly 80\% of the total variation, showing that bias is concentrated in a small set of visual cues. Sensitivity is strongest in judgments that are semantically aligned with appearance, especially socioeconomic and style-related judgments. We release StylisticBias as a benchmark for fine-grained bias evaluation in multimodal models. Code and dataset: https://github.com/timo-cavelius/StylisticBias and https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.