Few-shot Learner Parameterization by Diffusion Time-steps
作者: Zhongqi Yue, Pan Zhou, Richang Hong, Hanwang Zhang, Qianru Sun
分类: cs.CV
发布日期: 2024-03-05 (更新: 2024-03-27)
备注: Accepted by CVPR 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于扩散时间步的少样本学习者以解决属性提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 扩散模型 属性提取 低秩适配器 多模态学习 图像重建
📋 核心要点
- 现有的少样本学习方法在处理细微类别属性时表现不佳，容易受到显著视觉属性的干扰。
- 本文提出的时间步少样本学习者（TiF）利用扩散模型的时间步特性，有效隔离细微类别属性。
- TiF学习者在多个细粒度任务中显著提高了分类性能，相比OpenCLIP及其适配器有明显的提升。
📝 摘要（中文）
尽管使用大型多模态基础模型，少样本学习仍然面临挑战。如果没有适当的归纳偏置，几乎不可能在去除与类别标签虚假相关的显著视觉属性的同时保留细微的类别属性。为此，本文发现扩散模型的时间步可以隔离细微的类别属性。随着前向扩散在每个时间步向图像添加噪声，细微属性通常在早期时间步就会丢失，而显著属性则会保留。基于此，我们提出了时间步少样本学习者（TiF），为文本条件的扩散模型训练类别特定的低秩适配器，以弥补丢失的属性，从而能够根据提示准确重建图像。通过这种方式，TiF学习者在多种细粒度和定制的少样本学习任务中显著优于OpenCLIP及其适配器。
🔬 方法详解
问题定义：本文旨在解决在少样本学习中，如何有效提取细微类别属性的问题。现有方法往往无法在去除显著视觉属性的同时保留细微属性，导致分类性能下降。
核心思路：论文的核心思路是利用扩散模型的时间步特性，认为细微属性在早期时间步就会丢失，而显著属性则会保留。通过训练类别特定的低秩适配器，弥补丢失的细微属性，实现准确的图像重建。
技术框架：整体架构包括扩散模型的前向扩散过程和低秩适配器的训练。具体流程为：首先对图像进行前向扩散，添加噪声；然后使用适配器和提示进行细微属性的提取与重建。
关键创新：最重要的技术创新在于提出了时间步少样本学习者（TiF），通过时间步的归纳偏置有效隔离细微类别属性，与现有方法相比，能够更好地处理类别属性的提取问题。
关键设计：在技术细节上，采用了低秩适配器的设计，结合文本条件的扩散模型，设置了适当的损失函数以优化细微属性的重建效果。
🖼️ 关键图片
📊 实验亮点
在多个细粒度和定制的少样本学习任务中，TiF学习者显著优于OpenCLIP及其适配器，分类性能提升幅度达到XX%（具体数据待补充），展示了其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括图像分类、视觉搜索和个性化推荐等。通过有效提取细微类别属性，TiF学习者能够在少样本情况下提升模型的泛化能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Even when using large multi-modal foundation models, few-shot learning is still challenging -- if there is no proper inductive bias, it is nearly impossible to keep the nuanced class attributes while removing the visually prominent attributes that spuriously correlate with class labels. To this end, we find an inductive bias that the time-steps of a Diffusion Model (DM) can isolate the nuanced class attributes, i.e., as the forward diffusion adds noise to an image at each time-step, nuanced attributes are usually lost at an earlier time-step than the spurious attributes that are visually prominent. Building on this, we propose Time-step Few-shot (TiF) learner. We train class-specific low-rank adapters for a text-conditioned DM to make up for the lost attributes, such that images can be accurately reconstructed from their noisy ones given a prompt. Hence, at a small time-step, the adapter and prompt are essentially a parameterization of only the nuanced class attributes. For a test image, we can use the parameterization to only extract the nuanced class attributes for classification. TiF learner significantly outperforms OpenCLIP and its adapters on a variety of fine-grained and customized few-shot learning tasks. Codes are in https://github.com/yue-zhongqi/tif.