Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts

📄 arXiv: 2403.08477v3 📥 PDF

作者: Shengzhuang Chen, Jihoon Tack, Yunqiao Yang, Yee Whye Teh, Jonathan Richard Schwarz, Ying Wei

分类: cs.CV, cs.LG

发布日期: 2024-03-13 (更新: 2024-07-01)

备注: The Forty-first International Conference on Machine Learning, 2024

💡 一句话要点

提出稀疏元调优方法以解决少样本泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏元调优 迁移学习 计算机视觉 少样本学习 分布外泛化 稀疏专家模型

📋 核心要点

  1. 现有的元调优方法在处理分布外任务时表现有限，难以有效提升模型的迁移能力。
  2. 本文提出稀疏元调优（SMAT），通过自动选择预训练参数的子集来进行任务特定的调优，旨在提高模型的泛化能力。
  3. SMAT在Meta-Dataset上进行实验，取得了新的最先进结果，特别是在零样本和基于梯度的适应设置中表现优异。

📝 摘要（中文）

近年来，参数高效的微调方法在视觉迁移学习中取得了显著成功，逐渐取代了传统的元学习方法。然而，现有的元调优方法在处理分布外任务时表现不佳。本文提出了一种名为稀疏元调优（SMAT）的方法，灵感来源于稀疏专家混合模型，能够自动隔离预训练参数的子集进行任务特定的元调优。SMAT成功克服了对分布外任务的敏感性，并在零样本和基于梯度的适应设置中，在增强视觉基础模型的迁移能力方面取得了新的最先进结果。我们还分析了学习的稀疏模式相较于手工设计的稀疏模式的优越性，以及稀疏水平在平衡分布内和分布外泛化中的重要性。

🔬 方法详解

问题定义：现有的元调优方法在处理分布外（OOD）任务时表现不佳，导致其在迁移学习中的应用受到限制。

核心思路：本文提出的稀疏元调优（SMAT）方法，借鉴稀疏专家混合模型的思想，自动选择适合每个任务的预训练参数子集，从而增强模型的适应能力。

技术框架：SMAT的整体架构包括参数选择模块和任务特定的调优阶段。首先，通过稀疏选择机制识别出最相关的参数，然后在这些参数上进行进一步的优化。

关键创新：SMAT的主要创新在于其稀疏选择机制，能够自动学习稀疏模式，而非依赖于手工设计的稀疏结构，这使得模型在OOD任务上表现更为出色。

关键设计：在参数设置上，SMAT采用了特定的损失函数来平衡分布内和分布外的泛化能力，同时在网络结构上引入了稀疏性约束，以优化参数选择过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Meta-Dataset上进行的实验表明，SMAT在零样本和基于梯度的适应设置中均取得了新的最先进结果，显著提升了模型在分布外任务上的表现，相较于传统方法，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测和图像生成等任务，尤其是在样本稀缺的情况下，SMAT能够显著提升模型的泛化能力。未来，该方法可能对迁移学习和元学习的结合产生深远影响，推动相关领域的发展。

📄 摘要（原文）

Recent successes suggest that parameter-efficient fine-tuning of foundation models as the state-of-the-art method for transfer learning in vision, replacing the rich literature of alternatives such as meta-learning. In trying to harness the best of both worlds, meta-tuning introduces a subsequent optimization stage of foundation models but has so far only shown limited success and crucially tends to underperform on out-of-distribution (OOD) tasks. In this paper, we introduce Sparse MetA-Tuning (SMAT), a method inspired by sparse mixture-of-experts approaches and trained to isolate subsets of pre-trained parameters automatically for meta-tuning on each task. SMAT successfully overcomes OOD sensitivity and delivers on the promise of enhancing the transfer abilities of vision foundation models beyond parameter-efficient fine-tuning. We establish new state-of-the-art results on a challenging combination of Meta-Dataset augmented with additional OOD tasks in both zero-shot and gradient-based adaptation settings. In addition, we provide a thorough analysis of the superiority of learned over hand-designed sparsity patterns for sparse expert methods and the pivotal importance of the sparsity level in balancing between in-distribution and out-of-distribution generalization. Our code is publicly available.