GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

📄 arXiv: 2606.12744 📥 PDF

作者: Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出GRIP以解决多模态模型的示例检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 示例检索 视觉问答 图像分类 图像描述生成 反馈机制

📋 核心要点

  1. 现有方法依赖特征空间相似性选择示例，但视觉相似的示例不一定能有效提升模型性能。
  2. 本文提出GRIP，通过学习反馈机制来区分有益和有害的上下文示例，从而优化检索过程。
  3. 在多个多模态任务中，GRIP在Qwen2.5-VL-7B上表现优越，尤其在分类任务上取得了显著的性能提升。

📝 摘要（中文）

在上下文学习（ICL）中，现有方法通常基于特征空间相似性选择示例，但这一假设并不总是成立。为此，本文提出了引导检索上下文提示（GRIP），一个可学习的视觉检索框架，通过反馈机制识别真正改善模型预测的示例。GRIP在分类、图像描述和视觉问答等多模态任务中表现出色，尤其在Idefics2-8B数据集的分类任务中取得了显著提升。此外，GRIP的检索器能够在不同模型间迁移，支持可扩展的多模态上下文学习部署。

🔬 方法详解

问题定义：本文旨在解决多模态模型在示例检索中的不足，现有方法往往假设视觉相似的示例能够提升学习效果，但这一假设并不总是成立。

核心思路：GRIP通过引入反馈机制，学习识别哪些示例真正有助于模型的预测，从而优化示例的选择过程。这样的设计使得模型能够在更高层次上理解示例的价值，而不仅仅依赖于表面的相似性。

技术框架：GRIP的整体架构包括数据输入、反馈收集、示例检索和模型预测四个主要模块。首先，输入多模态数据，然后通过反馈机制评估示例的有效性，最后进行优化的示例检索以提升模型的预测性能。

关键创新：GRIP的主要创新在于其可学习的检索机制，通过对比训练来区分有益和有害的示例，这与传统的基于相似性的检索方法有本质区别。

关键设计：在设计上，GRIP采用了对比损失函数来优化示例选择，确保模型能够在训练过程中不断调整其检索策略。此外，网络结构经过精心设计，以适应多模态数据的特性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，GRIP在Qwen2.5-VL-7B上表现出色，尤其在Idefics2-8B的分类任务中，较基于相似性的检索方法提升了显著的性能。具体而言，GRIP在分类任务中取得了最高的性能增益，展示了其在多模态学习中的有效性和优势。

🎯 应用场景

GRIP的研究成果在多模态学习领域具有广泛的应用潜力，尤其是在图像分类、图像描述生成和视觉问答等任务中。通过提高示例检索的有效性，GRIP能够显著提升模型的性能，推动智能助手、自动内容生成和人机交互等领域的发展。未来，GRIP的可迁移性也将促进不同模型间的知识共享与应用。

📄 摘要（原文）

In-Context Learning (ICL) has become a powerful mechanism for adapting Large Language Models (LLMs) to new tasks without fine-tuning. Extending this concept to Large Multimodal Models (LMMs), Multimodal In-Context Learning (M-ICL) relies on retrieving relevant examples, such as images, captions, or question-answer pairs, to guide predictions across tasks like classification, captioning, and visual question answering (VQA). Most existing approaches select in-context examples based on feature-space similarity, assuming that semantically similar samples provide the most useful context. However, our systematic analysis reveals that this assumption does not always hold: visually similar examples are not necessarily those that most effectively enhance in-context learning performance.To address this, we propose the Guided Retrieval of In-context Prompts (GRIP), a learnable vision-only retrieval framework that leverages feedback from LMMs to identify examples that truly improve model predictions. GRIP learns to distinguish beneficial from detrimental in-context examples through contrastive training, refining retrieval beyond pure similarity. Across three multimodal tasks, namely classification, captioning, and VQA, GRIP improves consistently over similarity-based retrieval on Qwen2.5-VL-7B, with its strongest gains in classification on Idefics2-8B. Moreover, we demonstrate that retrievers trained with feedback from one open LMM can be transferred to other models without retraining, including closed-source GPT-4o and Gemini, enabling scalable and cost-efficient deployment of M-ICL. Code will be published upon acceptance.