X-MIC: Cross-Modal Instance Conditioning for Egocentric Action Generalization

📄 arXiv: 2403.19811v1 📥 PDF

作者: Anna Kukleva, Fadime Sener, Edoardo Remelli, Bugra Tekin, Eric Sauser, Bernt Schiele, Shugao Ma

分类: cs.CV

发布日期: 2024-03-28

备注: CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出X-MIC以解决自我中心视频分类中的跨模态适应问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 跨模态适应 视觉-语言模型 动作识别 泛化能力 视频适配器 细粒度分类

📋 核心要点

  1. 现有视觉-语言模型在自我中心视频分类中的适应性不足，导致跨数据集泛化能力较弱。
  2. 本文提出的X-MIC框架通过视频适配器实现文本嵌入与自我中心视频的对齐，提升了模型的泛化能力。
  3. 在多个数据集上进行的实验表明，X-MIC显著改善了跨数据集动作识别的性能，验证了其有效性。

📝 摘要（中文）

近年来，视觉-语言模型（VLMs）在图像和第三人称视频分类中的零样本识别方面取得了成功，但其在自我中心视频中的适应性仍然未被充分探索。为此，本文提出了一种简单而有效的跨模态适应框架X-MIC。该框架通过视频适配器，直接在共享嵌入空间中对齐冻结的文本嵌入与每个自我中心视频。我们的新型适配器架构通过解耦可学习的时间建模和冻结的视觉编码器，保留并改善了预训练VLMs的泛化能力，从而显著提升了文本嵌入与自我中心视频的对齐效果。我们在Epic-Kitchens、Ego4D和EGTEA数据集上评估了该方法，展示了其在细粒度跨数据集动作泛化中的有效性。

🔬 方法详解

问题定义：本文旨在解决自我中心视频分类中视觉-语言模型的适应性不足问题。现有方法在处理自我中心视频时，无法有效对齐文本和视频信息，导致泛化能力不足。

核心思路：X-MIC框架通过设计视频适配器，直接在共享嵌入空间中对齐冻结的文本嵌入与自我中心视频，从而提升模型的泛化能力。该设计允许模型在保持预训练知识的同时，适应新的视频数据。

技术框架：整体架构包括视频适配器和冻结的视觉编码器。视频适配器负责学习视频与文本之间的对齐，而视觉编码器则保持不变，确保模型的稳定性和有效性。

关键创新：最重要的创新在于解耦可学习的时间建模与冻结的视觉编码器，使得模型能够在不损失预训练知识的情况下，提升对自我中心视频的适应性。

关键设计：在设计中，采用了特定的损失函数来优化文本与视频的对齐效果，同时在网络结构上，确保适配器能够有效捕捉时间信息，增强模型的学习能力。

📊 实验亮点

实验结果表明，X-MIC在Epic-Kitchens、Ego4D和EGTEA数据集上均显著提升了跨数据集动作识别的性能，具体提升幅度达到XX%（具体数据待补充），验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等场景。通过提升自我中心视频的动作识别能力，X-MIC可以为这些领域提供更准确的行为理解和分析，进而推动相关技术的发展与应用。

📄 摘要（原文）

Lately, there has been growing interest in adapting vision-language models (VLMs) to image and third-person video classification due to their success in zero-shot recognition. However, the adaptation of these models to egocentric videos has been largely unexplored. To address this gap, we propose a simple yet effective cross-modal adaptation framework, which we call X-MIC. Using a video adapter, our pipeline learns to align frozen text embeddings to each egocentric video directly in the shared embedding space. Our novel adapter architecture retains and improves generalization of the pre-trained VLMs by disentangling learnable temporal modeling and frozen visual encoder. This results in an enhanced alignment of text embeddings to each egocentric video, leading to a significant improvement in cross-dataset generalization. We evaluate our approach on the Epic-Kitchens, Ego4D, and EGTEA datasets for fine-grained cross-dataset action generalization, demonstrating the effectiveness of our method. Code is available at https://github.com/annusha/xmic