Memory-Inspired Temporal Prompt Interaction for Text-Image Classification

📄 arXiv: 2401.14856v1 📥 PDF

作者: Xinyao Yu, Hao Sun, Ziwei Niu, Rui Qin, Zhenjia Bai, Yen-Wei Chen, Lanfen Lin

分类: cs.CV, cs.AI

发布日期: 2024-01-26

💡 一句话要点

提出记忆启发的时间提示交互以优化文本-图像分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 文本-图像分类 提示交互 记忆策略 模型微调 计算效率 信息交换

📋 核心要点

  1. 现有的大规模预训练多模态模型在微调时面临显著的计算成本和内存使用问题。
  2. 论文提出的记忆启发的时间提示交互（MITP）通过模仿人类记忆策略来优化模态间的交互。
  3. 在多个数据集上，MITP以200万可训练参数实现了竞争力的结果，内存使用显著降低。

📝 摘要（中文）

近年来，大规模预训练的多模态模型（LMM）在视觉和语言模态的整合上取得了显著成功。然而，LMM的规模不断扩大导致在下游任务中微调这些模型的计算成本显著增加。因此，研究了一种基于提示的交互策略以更高效地对齐模态。在此背景下，我们提出了一种新颖的基于提示的多模态交互策略，名为记忆启发的时间提示交互（MITP）。该方法分为两个阶段：获取阶段和巩固与激活阶段。我们在中间层上利用时间提示模拟获取阶段，利用基于相似性的提示交互模拟记忆巩固，并采用提示生成策略模拟记忆激活。我们的主要优势在于在中间层上交互提示向量，以利用模态间的信息交换，同时压缩可训练参数和内存使用。我们在多个数据集上取得了具有竞争力的结果，使用相对较小的内存和200万的可训练参数（约占预训练基础模型的1%）。

🔬 方法详解

问题定义：本论文旨在解决大规模预训练多模态模型在下游任务微调时的高计算成本和内存使用问题。现有方法在模态对齐和信息交互上存在不足，导致效率低下。

核心思路：论文提出的MITP方法借鉴人类的记忆策略，通过分阶段的提示交互来提高模态间的信息交换效率，降低计算资源的消耗。

技术框架：MITP方法分为两个主要阶段：获取阶段和巩固与激活阶段。在获取阶段，利用时间提示在中间层进行信息捕获；在巩固与激活阶段，通过相似性基础的提示交互和提示生成策略来实现信息的巩固与激活。

关键创新：MITP的核心创新在于在中间层上交互提示向量，充分利用模态间的信息交换。这一设计与传统方法的直接对齐方式有本质区别，显著提升了效率。

关键设计：在参数设置上，MITP使用了200万的可训练参数，约占预训练基础模型的1%。损失函数和网络结构的设计旨在优化提示交互的效果，确保在降低内存使用的同时保持模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，MITP方法以200万的可训练参数实现了与现有基线相当的性能，内存使用显著降低，展示了其在多模态任务中的有效性和高效性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、文本生成和多模态检索等。通过优化模态间的交互，MITP可以在资源受限的环境中实现高效的模型微调，具有重要的实际价值和未来影响。

📄 摘要（原文）

In recent years, large-scale pre-trained multimodal models (LMM) generally emerge to integrate the vision and language modalities, achieving considerable success in various natural language processing and computer vision tasks. The growing size of LMMs, however, results in a significant computational cost for fine-tuning these models for downstream tasks. Hence, prompt-based interaction strategy is studied to align modalities more efficiently. In this contex, we propose a novel prompt-based multimodal interaction strategy inspired by human memory strategy, namely Memory-Inspired Temporal Prompt Interaction (MITP). Our proposed method involves in two stages as in human memory strategy: the acquiring stage, and the consolidation and activation stage. We utilize temporal prompts on intermediate layers to imitate the acquiring stage, leverage similarity-based prompt interaction to imitate memory consolidation, and employ prompt generation strategy to imitate memory activation. The main strength of our paper is that we interact the prompt vectors on intermediate layers to leverage sufficient information exchange between modalities, with compressed trainable parameters and memory usage. We achieve competitive results on several datasets with relatively small memory usage and 2.0M of trainable parameters (about 1% of the pre-trained foundation model).