AutoFT: Learning an Objective for Robust Fine-Tuning

📄 arXiv: 2401.10220v2 📥 PDF

作者: Caroline Choi, Yoonho Lee, Annie Chen, Allan Zhou, Aditi Raghunathan, Chelsea Finn

分类: cs.LG, cs.CV

发布日期: 2024-01-18 (更新: 2024-03-07)

备注: 18 pages

💡 一句话要点

提出AutoFT以解决鲁棒性微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 鲁棒微调 分布外泛化 双层优化 基础模型 计算机视觉 自然语言处理 模型适应性

📋 核心要点

  1. 现有鲁棒微调方法依赖手工设计的正则化技术，难以适应基础模型的特征，导致在分布转移时性能下降。
  2. AutoFT是一种数据驱动的鲁棒微调方法，通过双层优化搜索最优的微调目标函数和超参数，以增强OOD泛化能力。
  3. 实验结果显示，AutoFT在多个自然分布转移任务中表现优异，超越了现有方法，特别是在WILDS基准上取得了新的最佳性能。

📝 摘要（中文）

基础模型编码了丰富的表示，可以通过微调适应下游任务。然而，在一个数据分布上微调模型往往会在分布转移时降低性能。现有的鲁棒微调方法使用手工设计的正则化技术来约束微调过程，但难以指定如何在微调过程中适应基础模型的相关特征。本文提出了AutoFT，一种数据驱动的鲁棒微调方法。AutoFT通过双层优化搜索能够增强分布外（OOD）泛化的微调过程，具体而言，它寻找能够最大化小型OOD验证集上后适应性能的目标函数和超参数。实验表明，AutoFT在九种自然分布转移上显著改善了对OOD输入的泛化能力，且在WILDS iWildCam和FMoW基准上达到了新的最优状态，分别超越了之前最佳方法6.0%和1.5%。

🔬 方法详解

问题定义：本文旨在解决基础模型在微调过程中对分布转移的鲁棒性不足的问题。现有方法往往依赖手工设计的正则化技术，难以有效适应基础模型的特征，导致在不同数据分布下性能显著下降。

核心思路：AutoFT通过数据驱动的方法，利用双层优化技术来自动搜索适合特定任务的微调目标函数和超参数，从而提升模型在分布外数据上的泛化能力。这样的设计使得微调过程更加灵活和高效，能够根据具体任务动态调整。

技术框架：AutoFT的整体架构包括两个主要阶段：首先，利用小型OOD验证集进行目标函数和超参数的搜索；其次，基于搜索结果进行微调，以最大化后适应性能。该框架强调了数据驱动的特性，能够根据任务需求自适应调整微调策略。

关键创新：AutoFT的核心创新在于其双层优化策略，能够在微调过程中自动寻找最优目标函数和超参数，这与传统的手工设计方法本质上不同，极大地提升了鲁棒性和适应性。

关键设计：在AutoFT中，关键的参数设置包括目标函数的选择和超参数的优化策略，损失函数设计上注重对OOD数据的适应性，同时在网络结构上保持与基础模型的兼容性，以确保微调过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AutoFT在九种自然分布转移任务中显著提升了模型的OOD泛化能力，尤其在WILDS iWildCam和FMoW基准上，分别超越了之前最佳方法6.0%和1.5%，达到了新的最优状态，展现了其强大的实用价值。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等多个下游任务，尤其是在数据分布变化频繁的场景中，AutoFT能够显著提升模型的鲁棒性和适应能力。未来，该方法有望在实际应用中广泛推广，帮助解决各种复杂的任务适应问题。

📄 摘要（原文）

Foundation models encode rich representations that can be adapted to downstream tasks by fine-tuning. However, fine-tuning a model on one data distribution often degrades performance under distribution shifts. Current approaches to robust fine-tuning use hand-crafted regularization techniques to constrain the fine-tuning process towards the pretrained model. Yet, it is hard to specify how to adapt relevant characteristics of the foundation model during fine-tuning, as this depends on how the pre-training, fine-tuning, and test data distributions relate to each other. We propose AutoFT, a data-driven approach for robust fine-tuning. Given a task, AutoFT searches for a fine-tuning procedure that enhances out-of-distribution (OOD) generalization. Specifically, AutoFT uses bi-level optimization to search for an objective function and hyperparameters that maximize post-adaptation performance on a small OOD validation set. We evaluate AutoFT on nine natural distribution shifts. Our experiments show that AutoFT significantly improves generalization to OOD inputs, outperforming existing robust fine-tuning methods. Notably, AutoFT achieves a new state-of-the-art on the WILDS iWildCam and FMoW benchmarks, outperforming the previous best methods by $6.0\%$ and $1.5\%$, respectively.