VSCode: General Visual Salient and Camouflaged Object Detection with 2D Prompt Learning

📄 arXiv: 2311.15011v3 📥 PDF

作者: Ziyang Luo, Nian Liu, Wangbo Zhao, Xuguang Yang, Dingwen Zhang, Deng-Ping Fan, Fahad Khan, Junwei Han

分类: cs.CV

发布日期: 2023-11-25 (更新: 2024-04-11)

备注: Accepted by CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出VSCode以解决显著与伪装物体检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 显著物体检测 伪装物体检测 2D提示学习 通用模型 多模态学习

📋 核心要点

  1. 现有的显著物体检测和伪装物体检测方法通常采用复杂的任务特定模型，导致冗余和性能不佳。
  2. 论文提出VSCode，一个通用模型，通过新颖的2D提示学习，联合解决多个SOD和COD任务。
  3. VSCode在26个数据集的六个任务上表现优异，展示了对新任务的零-shot泛化能力，具有显著的性能提升。

📝 摘要（中文）

显著物体检测(SOD)和伪装物体检测(COD)是相关但不同的二元映射任务。这些任务涉及多种模态，具有共同点和独特线索。现有研究通常采用复杂的任务特定模型，可能导致冗余和次优结果。我们提出VSCode，一个具有新颖2D提示学习的通用模型，旨在共同解决四个SOD任务和三个COD任务。我们利用VST作为基础模型，并在编码器-解码器架构中引入2D提示，以在两个独立维度上学习领域和任务特定知识。提示区分损失有助于解开特性以优化模型。VSCode在26个数据集的六个任务上超越了最先进的方法，并通过结合2D提示（如RGB-D COD）展现了对未见任务的零-shot泛化能力。

🔬 方法详解

问题定义：论文旨在解决显著物体检测(SOD)和伪装物体检测(COD)的任务，现有方法往往依赖于复杂的特定模型，导致冗余和次优效果。

核心思路：VSCode通过引入2D提示学习，构建一个通用模型，能够同时处理多个SOD和COD任务，旨在优化模型性能并减少冗余。

技术框架：该模型基于VST构建，采用编码器-解码器架构，2D提示被引入以学习领域和任务特定知识，整体流程包括输入处理、提示生成、特征提取和输出生成。

关键创新：最重要的创新在于2D提示学习的引入，通过提示区分损失来优化模型，使得模型能够更好地理解和处理不同任务的特性。

关键设计：模型设计中包括了特定的损失函数（提示区分损失），以及在编码器-解码器架构中如何有效地集成2D提示，以实现更好的任务适应性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VSCode在26个数据集的六个任务上超越了现有的最先进方法，展现了显著的性能提升，尤其是在处理未见任务时，表现出零-shot泛化能力，证明了其通用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够有效识别和分离显著和伪装物体，提升系统的智能化水平。未来，VSCode可能在多模态学习和跨领域任务中展现更大的应用价值。

📄 摘要（原文）

Salient object detection (SOD) and camouflaged object detection (COD) are related yet distinct binary mapping tasks. These tasks involve multiple modalities, sharing commonalities and unique cues. Existing research often employs intricate task-specific specialist models, potentially leading to redundancy and suboptimal results. We introduce VSCode, a generalist model with novel 2D prompt learning, to jointly address four SOD tasks and three COD tasks. We utilize VST as the foundation model and introduce 2D prompts within the encoder-decoder architecture to learn domain and task-specific knowledge on two separate dimensions. A prompt discrimination loss helps disentangle peculiarities to benefit model optimization. VSCode outperforms state-of-the-art methods across six tasks on 26 datasets and exhibits zero-shot generalization to unseen tasks by combining 2D prompts, such as RGB-D COD. Source code has been available at https://github.com/Sssssuperior/VSCode.