LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different Views

📄 arXiv: 2402.04644v2 📥 PDF

作者: Yuji Roh, Qingyun Liu, Huan Gui, Zhe Yuan, Yujin Tang, Steven Euijong Whang, Liang Liu, Shuchao Bi, Lichan Hong, Ed H. Chi, Zhe Zhao

分类: cs.LG, cs.AI

发布日期: 2024-02-07 (更新: 2024-06-18)

备注: In Proceedings of the 41st International Conference on Machine Learning (ICML), 2024

💡 一句话要点

提出LEVI以解决OOD泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 微调 OOD泛化 预训练模型 层级集成 特征学习 迁移学习 计算机视觉 自然语言处理

📋 核心要点

  1. 现有微调方法在处理未见分布（OOD）时存在泛化能力不足的问题，尤其是在新任务与预训练数据来自不同子领域时。
  2. 本文提出的LEVI方法通过层级集成预训练模型与任务特定模型，旨在克服对预训练表示的过度依赖，促进有效的特征学习。
  3. 实验结果显示，LEVI在大型语言和视觉模型上显著提升了微调的泛化能力，强调了来自微调数据和预训练特征的不同视角。

📝 摘要（中文）

微调技术在利用预训练基础模型进行下游任务中变得越来越普遍。尽管在各种任务上取得了成功，近期研究发现微调模型在未见分布（即OOD）上的泛化存在挑战。为改善OOD泛化，部分研究识别了微调数据的局限性，并对微调进行调节以保留从预训练数据中学习到的通用表示。然而，预训练数据和模型的潜在局限性常常被忽视。本文提出了一种新颖的可泛化微调方法LEVI（不同视角的层级集成），通过自适应地将预训练模型与小型任务特定模型进行层级集成，有效抑制微调数据和预训练模型中的问题特征，同时保留新任务的有用特征。大量实验表明，LEVI通过强调微调数据和预训练特征的不同视角，显著提高了微调的泛化能力。

🔬 方法详解

问题定义：本文要解决的问题是现有微调方法在未见分布（OOD）上的泛化能力不足，尤其是在新任务与预训练数据分布差异较大时，过度依赖预训练表示可能妨碍有效特征学习。

核心思路：论文的核心思路是提出LEVI方法，通过层级集成不同视角的模型，结合预训练模型和任务特定模型的优点，以抑制不必要的特征并保留有用特征。

技术框架：LEVI的整体架构包括两个主要模块：预训练模型和任务特定模型。通过层级集成，这两个模型在不同层次上进行组合，以实现更好的特征学习和泛化能力。

关键创新：LEVI的主要创新在于其层级集成的设计，能够有效结合预训练模型的通用性与任务特定模型的针对性，显著提升OOD泛化能力。这与传统的微调方法形成鲜明对比，后者往往只依赖于单一模型。

关键设计：在关键设计方面，LEVI采用了自适应的集成策略，结合了不同层次的特征，同时在损失函数中引入了对特征选择的调节机制，以确保模型在微调过程中能够有效学习到新任务所需的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LEVI在多个大型语言和视觉模型上显著提升了微调的泛化能力，相较于基线方法，泛化性能提高了XX%（具体数据未知），显示出其在处理OOD任务时的有效性和优势。

🎯 应用场景

LEVI方法具有广泛的应用潜力，尤其适用于需要从预训练模型迁移到新任务的场景，如自然语言处理、计算机视觉等领域。其有效的OOD泛化能力能够提升模型在实际应用中的表现，减少模型在新环境下的性能下降。未来，LEVI还可能推动更多领域的模型迁移学习研究。

📄 摘要（原文）

Fine-tuning is becoming widely used for leveraging the power of pre-trained foundation models in new downstream tasks. While there are many successes of fine-tuning on various tasks, recent studies have observed challenges in the generalization of fine-tuned models to unseen distributions (i.e., out-of-distribution; OOD). To improve OOD generalization, some previous studies identify the limitations of fine-tuning data and regulate fine-tuning to preserve the general representation learned from pre-training data. However, potential limitations in the pre-training data and models are often ignored. In this paper, we contend that overly relying on the pre-trained representation may hinder fine-tuning from learning essential representations for downstream tasks and thus hurt its OOD generalization. It can be especially catastrophic when new tasks are from different (sub)domains compared to pre-training data. To address the issues in both pre-training and fine-tuning data, we propose a novel generalizable fine-tuning method LEVI (Layer-wise Ensemble of different VIews), where the pre-trained model is adaptively ensembled layer-wise with a small task-specific model, while preserving its efficiencies. By combining two complementing models, LEVI effectively suppresses problematic features in both the fine-tuning data and pre-trained model and preserves useful features for new tasks. Broad experiments with large language and vision models show that LEVI greatly improves fine-tuning generalization via emphasizing different views from fine-tuning data and pre-trained features.