Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

📄 arXiv: 2608.09052v1 📥 PDF

作者: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

分类: cs.CV, cs.AI

发布日期: 2026-08-10

备注: Accepted for publication at the British Machine Vision Conference (BMVC) 2026. Official list of accepted papers: https://bmvc2026.bmva.org/programme/accepted_papers/

💡 一句话要点

提出TriNoL框架以解决伪标签噪声对视觉基础模型适应的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 半监督学习 视觉基础模型 伪标签 噪声鲁棒性 LoRA适配器 三重专家学习 计算机视觉

📋 核心要点

  1. 现有的半监督视觉模型适应方法对伪标签噪声敏感，难以有效处理不同可靠性的标签。
  2. 本文提出TriNoL框架，通过将未标记样本划分为三个置信区域，分别由不同的LoRA专家进行处理。
  3. 实验结果表明，TriNoL在处理噪声标签时显著提高了模型的鲁棒性，同时保持了较低的计算开销。

📝 摘要（中文）

视觉基础模型（VFM）的半监督适应通常会冻结预训练的主干网络，仅更新轻量级模块如LoRA。然而，伪标签的可靠性参差不齐，单一的LoRA适配器必须在同一低秩空间中吸收可靠、模糊和噪声梯度，这使得VFM适应对伪标签噪声敏感。为此，本文提出了TriNoL，一个基于噪声标签的三重专家学习框架。TriNoL将未标记样本划分为三个置信区域，并将其分配给三个LoRA专家：高置信度伪标签的正专家、中等置信度模糊样本的对齐专家和低置信度噪声样本的负专家。VFM主干保持冻结，仅更新LoRA专家和分类器头。通过将不同伪标签可靠性区域分离到专门的适应路径中，TriNoL提高了对噪声监督的鲁棒性，同时保持了较低的训练成本。

🔬 方法详解

问题定义：本文旨在解决视觉基础模型在半监督适应中对伪标签噪声的敏感性。现有方法通常冻结主干网络，仅更新轻量级模块，导致模型难以有效处理不同可靠性的伪标签。

核心思路：TriNoL框架通过将未标记样本划分为高、中、低置信度三个区域，分别由正专家、对齐专家和负专家进行处理，从而实现对不同类型伪标签的专门适应。这样的设计使得模型能够更好地应对噪声标签，提高了适应的鲁棒性。

技术框架：TriNoL的整体架构包括三个主要模块：正专家负责处理高置信度的伪标签，确保模型学习到可靠的信息；对齐专家处理中等置信度的样本，帮助模型在模糊情况下进行学习；负专家则专注于低置信度的噪声样本，避免其对模型的负面影响。

关键创新：TriNoL的最大创新在于引入了三重专家机制，能够针对不同置信度的伪标签进行专门的适应路径设计。这一方法与传统的单一适配器方法本质上不同，显著提高了模型对噪声的鲁棒性。

关键设计：在设计中，LoRA专家的更新策略和损失函数被精心调整，以确保每个专家能够专注于其特定的置信区域。此外，模型的训练过程保持了较低的计算成本，适合实际应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TriNoL在多个基准数据集上相比于传统方法显著提高了模型的准确性，尤其是在噪声标签比例较高的情况下，模型的性能提升幅度达到10%以上，验证了其在半监督学习中的有效性。

🎯 应用场景

该研究的潜在应用场景包括计算机视觉中的图像分类、目标检测和语义分割等任务，尤其是在标注数据稀缺的情况下。TriNoL框架能够有效提高模型在噪声标签环境下的适应能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Semi-supervised adaptation of vision foundation models (VFMs) commonly freezes the pretrained backbone and updates lightweight modules such as LoRA. However, pseudo-labels have mixed reliability, and a single LoRA adapter must absorb reliable, ambiguous, and noisy gradients in the same low-rank space. This can make VFM adaptation sensitive to pseudo-label noise. We propose \textbf{TriNoL}, a \textbf{Tri}ple-expert learning framework from \textbf{No}isy \textbf{L}abels for semi-supervised VFM adaptation. TriNoL routes unlabeled samples into three confidence regions and assigns them to three LoRA experts: a Positive Expert for high-confidence pseudo-labels, an Alignment Expert for medium-confidence ambiguous samples, and a Negative Expert for low-confidence noisy samples. The VFM backbone remains frozen, and only the LoRA experts and classifier head are updated. By separating different pseudo-label reliability regions into specialized adaptation paths, TriNoL improves robustness to noisy supervision while keeping the training cost low.