Fair Wasserstein Coresets

📄 arXiv: 2311.05436v4 📥 PDF

作者: Zikai Xiong, Niccolò Dalmasso, Shubham Sharma, Freddy Lecue, Daniele Magazzeni, Vamsi K. Potluru, Tucker Balch, Manuela Veloso

分类: stat.ML, cs.CY, cs.LG

发布日期: 2023-11-09 (更新: 2024-10-29)

备注: Accepted at NeurIPS 2024, 30 pages, 7 figures, 8 tables

💡 一句话要点

提出公平Wasserstein核心集以解决数据偏见问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 公平性 Wasserstein距离 核心集 数据偏见 机器学习 下游任务 合成样本 样本权重

📋 核心要点

  1. 现有方法主要集中于优化局部属性，未能有效解决数据偏见对下游学习过程的影响。
  2. 本文提出的FWC方法通过生成公平的合成样本和样本权重，旨在改善下游学习任务中的公平性。
  3. 实验结果显示，FWC在下游模型中实现了较好的公平性与效用的权衡，并有效减少了预测偏见。

📝 摘要（中文）

数据蒸馏和核心集已成为生成小型代表性样本集的流行方法，以处理大规模数据集。随着机器学习在社会决策过程中的应用日益增加，模型开发者必须解决数据中存在的对子群体的固有偏见。本文提出了一种新颖的公平Wasserstein核心集（FWC）方法，生成公平的合成代表样本及样本级权重，以用于下游学习任务。FWC通过高效的多数最小化算法，最小化原始数据集与加权合成样本之间的Wasserstein距离，同时强制执行人口平等。实验表明，FWC在下游模型中实现了竞争性的公平性-效用权衡，并能改善下游公平性，减少大型语言模型（如GPT-3.5和GPT-4）的预测偏见。

🔬 方法详解

问题定义：本文旨在解决在大规模数据集中存在的对特定子群体的偏见问题。现有方法在生成公平样本时，往往未能充分考虑其对下游学习任务的影响。

核心思路：FWC方法通过生成公平的合成样本，并为每个样本分配权重，确保在下游学习中实现人口平等。该方法采用高效的多数最小化算法，优化Wasserstein距离，以保持样本的代表性。

技术框架：FWC的整体架构包括样本生成模块和权重分配模块。首先，通过多数最小化算法生成合成样本，然后计算样本权重，以确保公平性。

关键创新：FWC的主要创新在于其公平性与效用的平衡，利用Wasserstein距离优化合成样本的生成，与现有方法相比，FWC在公平性和效用之间实现了更好的权衡。

关键设计：FWC的设计包括样本权重的计算方法和损失函数的设置，确保在优化过程中同时考虑公平性和样本的代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FWC在下游模型中实现了较好的公平性与效用的权衡，相较于现有方法，公平性提升幅度显著，并且在加入现有训练数据后，进一步改善了模型的公平性。

🎯 应用场景

该研究的潜在应用领域包括社会决策、医疗、金融等需要公平性考量的机器学习任务。FWC方法能够有效减少模型中的偏见，提高决策的公正性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Data distillation and coresets have emerged as popular approaches to generate a smaller representative set of samples for downstream learning tasks to handle large-scale datasets. At the same time, machine learning is being increasingly applied to decision-making processes at a societal level, making it imperative for modelers to address inherent biases towards subgroups present in the data. While current approaches focus on creating fair synthetic representative samples by optimizing local properties relative to the original samples, their impact on downstream learning processes has yet to be explored. In this work, we present fair Wasserstein coresets (FWC), a novel coreset approach which generates fair synthetic representative samples along with sample-level weights to be used in downstream learning tasks. FWC uses an efficient majority minimization algorithm to minimize the Wasserstein distance between the original dataset and the weighted synthetic samples while enforcing demographic parity. We show that an unconstrained version of FWC is equivalent to Lloyd's algorithm for k-medians and k-means clustering. Experiments conducted on both synthetic and real datasets show that FWC: (i) achieves a competitive fairness-utility tradeoff in downstream models compared to existing approaches, (ii) improves downstream fairness when added to the existing training data and (iii) can be used to reduce biases in predictions from large language models (GPT-3.5 and GPT-4).