ViT-Lens: Towards Omni-modal Representations

📄 arXiv: 2311.16081v2 📥 PDF

作者: Weixian Lei, Yixiao Ge, Kun Yi, Jianfeng Zhang, Difei Gao, Dylan Sun, Yuying Ge, Ying Shan, Mike Zheng Shou

分类: cs.CV, cs.AI

发布日期: 2023-11-27 (更新: 2024-03-26)

备注: This work is a follow-up of arXiv:2308.10185. Accepted to CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ViT-Lens-2以解决多模态表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态表示学习 视觉变换器 模态对齐 零样本分类 深度学习

📋 核心要点

  1. 现有视觉和语言模型在处理多样化模态时存在局限性，尤其是在稀有模态的再现性方面。
  2. ViT-Lens-2通过预训练的ViT和模态特定的镜头，能够有效地学习新模态的表示，并将其对齐到一个共享的空间。
  3. 该模型在多个理解任务上设定了新的最先进结果，尤其是在零样本分类任务中表现突出。

📝 摘要（中文）

本论文旨在推动人工智能代理的发展，提出了ViT-Lens-2模型，以实现高效的多模态表示学习。当前的视觉和语言模型在开放世界环境中忽视了多样化模态的潜力。ViT-Lens-2通过预训练的视觉变换器（ViT）感知新颖模态，并将其对齐到预定义空间，优化了模态特定的投影过程。该模型在3D点云、深度、音频、触觉和脑电图等任务上取得了新的最先进结果，并支持零样本分类和文本、图像生成等能力。

🔬 方法详解

问题定义：本论文旨在解决当前多模态表示学习中的不足，尤其是如何有效处理稀有模态并实现不同模态之间的对齐。现有方法在处理新颖模态时往往依赖大量数据，难以复现。

核心思路：ViT-Lens-2的核心思想是利用预训练的视觉变换器（ViT）来感知新模态，并通过模态特定的镜头将其投影到一个中间嵌入空间，从而实现模态间的有效对齐。

技术框架：该模型的整体架构包括模态特定的镜头、预训练的ViT和一个共享的模态独立空间。首先，模态特定的镜头将输入信号投影到中间空间，接着预训练的ViT对这些信号进行处理，最后优化表示以对齐到预定义的空间。

关键创新：ViT-Lens-2的主要创新在于其高效的模态对齐机制和共享的ViT参数设计，使得模型能够在不同模态间实现有效的知识迁移和表示学习。与现有方法相比，该模型在处理新模态时显著降低了对数据的依赖。

关键设计：在设计上，ViT-Lens-2采用了特定的损失函数来优化模态对齐，并在网络结构上进行了调整，以支持多模态输入的处理。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个理解任务中，ViT-Lens-2设定了新的最先进结果，特别是在零样本分类任务上，相较于基线模型，性能提升显著。具体而言，该模型在3D点云和脑电图等任务上表现优异，展示了其在多模态学习中的强大能力。

🎯 应用场景

ViT-Lens-2的研究成果具有广泛的应用潜力，尤其是在需要处理多种感知模态的领域，如机器人感知、智能监控和医疗诊断等。通过实现高效的多模态表示学习，该模型能够提升AI系统在复杂环境中的理解和决策能力，未来可能推动更智能的AI代理的发展。

📄 摘要（原文）

Aiming to advance AI agents, large foundation models significantly improve reasoning and instruction execution, yet the current focus on vision and language neglects the potential of perceiving diverse modalities in open-world environments. However, the success of data-driven vision and language models is costly or even infeasible to be reproduced for rare modalities. In this paper, we present ViT-Lens-2 that facilitates efficient omni-modal representation learning by perceiving novel modalities with a pretrained ViT and aligning them to a pre-defined space. Specifically, the modality-specific lens is tuned to project any-modal signals to an intermediate embedding space, which are then processed by a strong ViT with pre-trained visual knowledge. The encoded representations are optimized toward aligning with the modal-independent space, pre-defined by off-the-shelf foundation models. ViT-Lens-2 provides a unified solution for representation learning of increasing modalities with two appealing advantages: (i) Unlocking the great potential of pretrained ViTs to novel modalities effectively with efficient data regime; (ii) Enabling emergent downstream capabilities through modality alignment and shared ViT parameters. We tailor ViT-Lens-2 to learn representations for 3D point cloud, depth, audio, tactile and EEG, and set new state-of-the-art results across various understanding tasks, such as zero-shot classification. By seamlessly integrating ViT-Lens-2 into Multimodal Foundation Models, we enable Any-modality to Text and Image Generation in a zero-shot manner. Code and models are available at https://github.com/TencentARC/ViT-Lens.