Visual In-Context Prompting
作者: Feng Li, Qing Jiang, Hao Zhang, Tianhe Ren, Shilong Liu, Xueyan Zou, Huaizhe Xu, Hongyang Li, Chunyuan Li, Jianwei Yang, Lei Zhang, Jianfeng Gao
分类: cs.CV, cs.AI, cs.LG
发布日期: 2023-11-22
备注: technical report
🔗 代码/项目: GITHUB
💡 一句话要点
提出通用视觉上下文提示框架以解决视觉任务问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉提示 上下文学习 开放集分割 目标检测 多模态学习
📋 核心要点
- 现有的视觉提示方法主要集中在引用分割，无法有效应对开放集分割和检测等多种视觉任务。
- 本文提出了一种通用的视觉上下文提示框架，支持多种提示形式，并能够处理任意数量的参考图像分段。
- 通过在COCO和SA-1B数据集上的联合训练，模型在多个数据集上表现出竞争力的性能，尤其是在开放集分割任务上。
📝 摘要（中文）
在大型语言模型（LLMs）中，上下文提示已成为提升零-shot 能力的普遍方法，但在视觉领域的探索相对较少。现有的视觉提示方法主要集中在引用分割上，无法有效处理开放集分割和检测等通用视觉任务。本文提出了一种通用的视觉上下文提示框架，基于编码器-解码器架构，开发了多功能提示编码器，支持多种提示形式，如笔画、框和点。通过联合训练COCO和SA-1B数据集，我们的模型在COCO上达到了57.7的PQ，在ADE20K上达到了23.2的PQ，展现了出色的引用和通用分割能力。
🔬 方法详解
问题定义：本文旨在解决现有视觉提示方法在开放集分割和检测任务中的不足，现有方法主要集中于引用分割，无法满足多样化的视觉任务需求。
核心思路：提出一种通用的视觉上下文提示框架，利用编码器-解码器架构，设计多功能提示编码器，支持多种提示形式，以增强模型的灵活性和适应性。
技术框架：整体架构包括一个编码器-解码器模型，提示编码器负责处理不同类型的提示（如笔画、框、点），并能够接收任意数量的参考图像分段作为上下文信息。
关键创新：最重要的创新在于提出了一个通用的视觉上下文提示框架，能够处理多种视觉任务，并且在开放集分割任务中表现出色，显著提升了模型的适用性。
关键设计：模型的关键设计包括多功能提示编码器的构建，能够灵活处理不同的提示形式，以及在训练过程中采用的损失函数和参数设置，以优化模型在多种视觉任务中的表现。
🖼️ 关键图片
📊 实验亮点
在实验中，模型在COCO数据集上达到了57.7的PQ，在ADE20K数据集上达到了23.2的PQ，表现出与闭集内数据集相当的竞争力，并在多个开放集分割数据集上取得了良好的效果，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控和医疗影像分析等，能够有效提升系统在复杂场景下的目标检测和分割能力。未来，该框架有望推动更多视觉任务的研究与应用，提升计算机视觉技术的智能化水平。
📄 摘要（原文）
In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves $57.7$ PQ on COCO and $23.2$ PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.