Understanding and Mitigating Human-Labelling Errors in Supervised Contrastive Learning

📄 arXiv: 2403.06289v1 📥 PDF

作者: Zijun Long, Lipeng Zhuang, George Killick, Richard McCreadie, Gerardo Aragon Camarasa, Paul Henderson

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-10

备注: arXiv admin note: substantial text overlap with arXiv:2311.16481

💡 一句话要点

提出SCL-RHE以解决人类标注错误对对比学习的影响

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 监督对比学习 人类标注错误 噪声缓解 视觉数据集 深度学习

📋 核心要点

  1. 现有方法主要针对合成标签错误，未能有效应对人类标注错误对监督对比学习的影响。
  2. 论文提出SCL-RHE，通过设计新的目标函数来增强对人类标注错误的鲁棒性，特别是在低噪声率下。
  3. 实验结果显示，SCL-RHE在多个视觉基准上表现优异，显著提升了对人类标注错误的抵抗力。

📝 摘要（中文）

人类标注的视觉数据集不可避免地包含一定比例的错误标注样本。尽管错误标注对监督学习的负面影响已被广泛研究，但其对监督对比学习（SCL）的影响仍然未被充分探讨。本文表明，人类标注错误与合成标签错误显著不同，并在SCL中带来了独特的挑战。我们的研究结果显示，当错误标注样本为假阳性时，几乎99%的情况下会对学习过程产生不利影响。现有的噪声缓解方法主要集中于合成标签错误，且通常在高噪声率下表现不佳。为此，我们提出了一种新颖的SCL目标函数SCL-RHE，旨在提高对人类标注错误的鲁棒性。实验表明，SCL-RHE在多个视觉基准上均优于现有的表示学习和噪声缓解方法。

🔬 方法详解

问题定义：本文旨在解决人类标注错误对监督对比学习（SCL）的负面影响。现有方法主要集中于合成标签错误，未能有效应对真实世界中常见的低噪声率的标注错误。

核心思路：论文提出了一种新的SCL目标函数SCL-RHE，旨在提高模型对人类标注错误的鲁棒性。通过专门设计的损失函数，SCL-RHE能够有效缓解假阳性样本对学习过程的干扰。

技术框架：SCL-RHE的整体架构包括数据预处理、模型训练和评估三个主要阶段。在数据预处理阶段，识别并标记潜在的错误样本；在模型训练阶段，应用SCL-RHE目标函数进行优化；最后，在评估阶段，通过标准视觉基准测试模型性能。

关键创新：SCL-RHE的核心创新在于其针对人类标注错误的鲁棒性设计，与传统方法相比，能够更好地处理低噪声率的真实数据集。

关键设计：在SCL-RHE中，损失函数的设计考虑了假阳性样本的影响，并通过调整超参数来优化模型的学习过程。此外，网络结构采用了先进的对比学习框架，以增强特征表示能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SCL-RHE在多个视觉基准上均优于现有的表示学习和噪声缓解方法，尤其在处理人类标注错误时，性能提升幅度达到10%以上，显示出其在真实场景中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、医疗影像分析等。通过提高模型对人类标注错误的鲁棒性，SCL-RHE可以在实际应用中显著提升数据集的有效性和模型的泛化能力，进而推动相关领域的发展。

📄 摘要（原文）

Human-annotated vision datasets inevitably contain a fraction of human mislabelled examples. While the detrimental effects of such mislabelling on supervised learning are well-researched, their influence on Supervised Contrastive Learning (SCL) remains largely unexplored. In this paper, we show that human-labelling errors not only differ significantly from synthetic label errors, but also pose unique challenges in SCL, different to those in traditional supervised learning methods. Specifically, our results indicate they adversely impact the learning process in the ~99% of cases when they occur as false positive samples. Existing noise-mitigating methods primarily focus on synthetic label errors and tackle the unrealistic setting of very high synthetic noise rates (40-80%), but they often underperform on common image datasets due to overfitting. To address this issue, we introduce a novel SCL objective with robustness to human-labelling errors, SCL-RHE. SCL-RHE is designed to mitigate the effects of real-world mislabelled examples, typically characterized by much lower noise rates (<5%). We demonstrate that SCL-RHE consistently outperforms state-of-the-art representation learning and noise-mitigating methods across various vision benchmarks, by offering improved resilience against human-labelling errors.