Enhancing Compositional Generalization via Compositional Feature Alignment

📄 arXiv: 2402.02851v2 📥 PDF

作者: Haoxiang Wang, Haozhe Si, Huajie Shao, Han Zhao

分类: cs.CV, cs.LG, stat.ML

发布日期: 2024-02-05 (更新: 2024-05-22)

备注: Published in Transactions on Machine Learning Research (TMLR). The code is released at https://github.com/Haoxiang-Wang/Compositional-Feature-Alignment

💡 一句话要点

提出组合特征对齐方法以增强组合泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合泛化 特征对齐 预训练模型 微调技术 计算机视觉 深度学习

📋 核心要点

  1. 现有的预训练-微调方法在处理组合泛化能力时表现不佳，尤其是在多域多类的情况下。
  2. 本文提出的组合特征对齐（CFA）方法，通过学习正交线性头来增强模型的组合特征学习能力。
  3. 实验结果显示，CFA在CLIP和DINOv2模型上优于传统微调方法，显著提升了组合泛化能力。

📝 摘要（中文）

机器学习模型在实际应用中常面临数据分布转移的问题，尤其是在多域多类设置下，随着类别和域的增加，收集每个域-类组合的训练数据变得不可行。因此，模型的组合泛化能力（CG）成为研究的重点。为此，本文开发了CG-Bench，一个基于真实图像数据集的CG基准测试套件，并发现现有的预训练-微调范式在应对这一挑战时表现不佳。为了解决这一问题，本文提出了组合特征对齐（CFA）方法，通过在预训练编码器上学习两个正交线性头，并在微调时冻结新学习的头，来促进组合特征学习。实验结果表明，CFA在组合泛化能力上优于常见的微调技术，验证了其有效性。

🔬 方法详解

问题定义：本文旨在解决机器学习模型在多域多类设置下的组合泛化能力不足的问题。现有的预训练-微调方法在面对未见的域-类组合时，往往无法有效泛化，导致性能下降。

核心思路：论文提出的组合特征对齐（CFA）方法，通过在预训练编码器上学习两个正交的线性头，分别对应于类别和域标签，从而促进模型的组合特征学习。冻结新学习的头进行微调，可以有效提升模型的泛化能力。

技术框架：CFA方法分为两个阶段：第一阶段，在预训练的编码器上学习两个正交线性头；第二阶段，冻结新学习的头，对编码器进行微调。整体流程确保了模型在组合特征学习上的有效性。

关键创新：CFA的主要创新在于通过正交线性头的设计，促进了预训练模型的组合特征学习。这一方法与传统的微调方法本质上不同，后者通常不考虑特征的组合性。

关键设计：在CFA中，关键参数包括正交线性头的学习策略和微调阶段的冻结策略。此外，损失函数设计也考虑了组合特征的学习效果，以确保模型在新组合上的泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CFA在CLIP和DINOv2模型上显著优于传统微调方法，具体提升幅度达到XX%，在组合泛化能力的评估中表现突出，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测和多任务学习等场景，尤其是在数据稀缺或分布不均的情况下。CFA方法的有效性为实际应用中的模型训练提供了新的思路，未来可能推动更广泛的组合泛化研究与应用。

📄 摘要（原文）

Real-world applications of machine learning models often confront data distribution shifts, wherein discrepancies exist between the training and test data distributions. In the common multi-domain multi-class setup, as the number of classes and domains scales up, it becomes infeasible to gather training data for every domain-class combination. This challenge naturally leads the quest for models with Compositional Generalization (CG) ability, where models can generalize to unseen domain-class combinations. To delve into the CG challenge, we develop CG-Bench, a suite of CG benchmarks derived from existing real-world image datasets, and observe that the prevalent pretraining-finetuning paradigm on foundational models, such as CLIP and DINOv2, struggles with the challenge. To address this challenge, we propose Compositional Feature Alignment (CFA), a simple two-stage finetuning technique that i) learns two orthogonal linear heads on a pretrained encoder with respect to class and domain labels, and ii) fine-tunes the encoder with the newly learned head frozen. We theoretically and empirically justify that CFA encourages compositional feature learning of pretrained models. We further conduct extensive experiments on CG-Bench for CLIP and DINOv2, two powerful pretrained vision foundation models. Experiment results show that CFA outperforms common finetuning techniques in compositional generalization, corroborating CFA's efficacy in compositional feature learning.