Multimodal Unsupervised Domain Generalization by Retrieving Across the Modality Gap
作者: Christopher Liao, Christian So, Theodoros Tsiligkaridis, Brian Kulis
分类: cs.CV, cs.LG
发布日期: 2024-02-06 (更新: 2025-06-10)
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态无监督领域泛化方法以解决标签空间不一致问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 领域泛化 无监督学习 多模态学习 视觉-语言 跨模态检索 聚类算法 文本增强 零-shot学习
📋 核心要点
- 现有领域泛化方法通常假设目标标签空间中有丰富的源数据，限制了其在实际应用中的有效性。
- 本文提出了一种新的多模态无监督领域泛化框架，通过在视觉-语言空间中进行高效搜索来解决源数据与目标任务之间的关系问题。
- 在20个多样化数据集上进行的实验表明，所提方法在准确性上显著优于现有的无源DG和零-shot方法。
📝 摘要（中文）
领域泛化（DG）是一个重要问题，旨在学习能够泛化到未见测试领域的模型，通常依赖于一个或多个源领域。然而，大多数DG方法假设目标标签空间中有丰富的源数据，这在许多实际应用中是不切实际的。为此，本文针对无监督领域泛化的多模态版本（MUDG）进行了研究，利用大规模无标签源数据集进行微调。我们的方法不假设源数据集与目标任务之间存在任何关系，而是依赖于源数据集在联合视觉-语言空间中的高效搜索。我们在MUDG设置下提出了三项贡献：首先，理论上证明跨模态近似最近邻搜索由于文本查询与图像质心之间的距离较大而导致召回率低。为此，我们提出了配对k均值算法，通过在查询空间中存储质心来提高最近邻召回率。其次，我们提出了一种自适应文本增强方案，旨在提高零-shot准确性并丰富检索的图像数据。最后，我们提出了两个简单但有效的组件，以进一步提高下游目标准确性。我们在20个多样化数据集上与最先进的无源DG和零-shot方法进行了比较，显示出一致的准确性提升。
🔬 方法详解
问题定义：本文旨在解决多模态无监督领域泛化（MUDG）问题，现有方法通常依赖于丰富的源数据，这在实际应用中难以实现。
核心思路：提出了一种不依赖源数据与目标任务关系的框架，利用视觉-语言空间中的高效搜索来进行微调。
技术框架：整体架构包括三个主要模块：配对k均值聚类算法、适应性文本增强方案和两个提升下游准确性的组件。
关键创新：提出的配对k均值算法通过在查询空间中存储质心来提高最近邻召回率，解决了传统方法中召回率低的问题。
关键设计：在设计中，采用了自适应文本增强策略以提高零-shot准确性，并通过简单有效的组件进一步优化模型性能。实验中使用的损失函数和网络结构细节未在摘要中详细说明，需参考原文获取更多信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在20个多样化数据集上与最先进的无源DG和零-shot方法相比，准确性有显著提升，具体性能数据和提升幅度在原文中有详细列举，表明了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和跨模态学习等，尤其适用于那些标签空间不一致的任务，如图像与文本的联合检索、跨领域迁移学习等。未来，该方法可能推动无监督学习和领域泛化技术在实际应用中的广泛采用。
📄 摘要（原文）
Domain generalization (DG) is an important problem that learns a model which generalizes to unseen test domains leveraging one or more source domains, under the assumption of shared label spaces. However, most DG methods assume access to abundant source data in the target label space, a requirement that proves overly stringent for numerous real-world applications, where acquiring the same label space as the target task is prohibitively expensive. For this setting, we tackle the multimodal version of the unsupervised domain generalization (MUDG) problem, which uses a large task-agnostic unlabeled source dataset during finetuning. Our framework does not explicitly assume any relationship between the source dataset and target task. Instead, it relies only on the premise that the source dataset can be accurately and efficiently searched in a joint vision-language space. We make three contributions in the MUDG setting. Firstly, we show theoretically that cross-modal approximate nearest neighbor search suffers from low recall due to the large distance between text queries and the image centroids used for coarse quantization. Accordingly, we propose paired k-means, a simple clustering algorithm that improves nearest neighbor recall by storing centroids in query space instead of image space. Secondly, we propose an adaptive text augmentation scheme for target labels designed to improve zero-shot accuracy and diversify retrieved image data. Lastly, we present two simple but effective components to further improve downstream target accuracy. We compare against state-of-the-art name-only transfer, source-free DG and zero-shot (ZS) methods on their respective benchmarks and show consistent improvement in accuracy on 20 diverse datasets. Code is available: https://github.com/Chris210634/mudg