Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement

📄 arXiv: 2606.24161v1 📥 PDF

作者: Xiangqian Zhao, Xinyang Jiang, Zhipeng Xu, Lingfeng He, Zilong Wang, Dongsheng Li, De Cheng, Nannan Wang

分类: cs.CV

发布日期: 2026-06-23

💡 一句话要点

提出双分支交叉投影去偏见方法以解决模型偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 去偏见 双分支设计 扩散解耦 计算机视觉 公平性

📋 核心要点

  1. 现有去偏见方法在缺乏群体标签时，难以准确识别与现实世界偏见相关的虚假属性，导致效果不佳。
  2. 本文提出的CBCM利用扩散解耦的概念表示来识别可靠的虚假属性，而DCD框架则通过双分支设计显式去除虚假信息。
  3. 在四个基准数据集上的实验表明，本文方法在最差群体准确率上达到了最先进水平，同时仅调整了0.22%的模型参数。

📝 摘要（中文）

基础模型在偏见数据集上训练时，往往依赖于目标标签与非因果属性之间的虚假关联，导致在少数群体上的泛化能力差。偏见缓解面临两个基本问题：一是缺乏群体标签时，现有的无监督方法难以准确识别与现实世界偏见语义对齐的虚假因素；二是现有去偏见方法通常采用单分支设计，目标与虚假属性在同一特征空间中纠缠。为此，本文提出了基于扩散解耦的信心引导偏见概念挖掘（CBCM）和双分支交叉投影去偏见（DCD）框架，显著提升了模型在无监督方法中的表现。

🔬 方法详解

问题定义：本文旨在解决基础模型在偏见数据集上训练时，因依赖虚假关联而导致的泛化能力不足的问题。现有方法在缺乏群体标签的情况下，难以识别与现实世界偏见相关的虚假因素，且单分支设计使得目标与虚假属性纠缠在一起。

核心思路：为了解决上述问题，本文提出了信心引导偏见概念挖掘（CBCM）和双分支交叉投影去偏见（DCD）框架。CBCM通过扩散解耦的概念表示，识别可靠的虚假属性，而DCD则通过双分支设计，明确分离目标与虚假表示。

技术框架：DCD框架包括两个主要分支：一个用于目标属性，另一个用于虚假属性。通过交叉零空间投影，显式去除虚假信息，同时保留与目标相关的语义信息。

关键创新：本文的主要创新在于引入了双分支设计和交叉投影机制，使得目标与虚假属性的表示能够有效解耦，显著提升了去偏见的效果。与现有方法相比，本文方法在处理虚假属性时更加精确和有效。

关键设计：在模型设计中，采用了扩散解耦的概念表示，并设置了特定的损失函数以优化目标与虚假属性的分离效果。此外，模型参数的调整控制在0.22%以内，确保了高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在四个基准数据集上达到了最先进的最差群体准确率，显著优于现有的无监督去偏见方法，且模型参数调整仅为0.22%。这一成果表明了该方法在实际应用中的有效性和高效性。

🎯 应用场景

该研究的潜在应用场景包括计算机视觉、自然语言处理等领域，尤其是在需要处理偏见和公平性问题的任务中。通过有效去除模型偏见，能够提升模型在多样化人群中的表现，促进公平性和包容性。未来，该方法有望在社会影响较大的应用中发挥重要作用。

📄 摘要（原文）

Foundation models trained on biased datasets often rely on spurious correlations between target labels and non-causal attributes, resulting in poor generalization on minority groups. Bias mitigation remains challenging due to two fundamental issues. First, when group labels are unavailable, existing group-unsupervised methods typically infer spurious attributes implicitly from model behavior, making it difficult to identify spurious factors that are semantically aligned with real-world biases. Second, even with pseudo spurious supervision, most existing debiasing methods follow a single-branch design that operates within a single shared feature space, where target and spurious attributes are intrinsically entangled. To address the first challenge, we introduce Confidence-guided Bias Concept Mining (CBCM), which leverages diffusion-disentangled, semantically grounded concept representations to identify reliable spurious attributes without attribute annotations. To address the second challenge, we propose Dual-branch Cross-projection Debiasing (DCD), a prompt-tuning framework that separates target and spurious representations into two branches and explicitly removes spurious information through cross null-space projection while preserving target-relevant semantics. Extensive experiments on four benchmark datasets show that our method achieves state-of-the-art worst group accuracy among group-unsupervised approaches, while tuning at most 0.22% of the model parameters. The source code is available in the supplementary materials.