Open-Vocabulary Camouflaged Object Segmentation

📄 arXiv: 2311.11241v3 📥 PDF

作者: Youwei Pang, Xiaoqi Zhao, Jiaming Zuo, Lihe Zhang, Huchuan Lu

分类: cs.CV

发布日期: 2023-11-19 (更新: 2024-07-04)

备注: Update details. Acceptd by ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出开放词汇伪装物体分割方法以解决数据偏差问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 伪装物体分割 视觉-语言模型 深度学习 语义指导 数据集构建 计算机视觉

📋 核心要点

  1. 现有方法在开放词汇密集预测任务中存在数据偏差和注释成本高的问题，难以处理复杂场景中的伪装物体。
  2. 本文提出开放词汇伪装物体分割任务，并构建OVCamo数据集，同时设计了OVCoser模型，通过语义知识和视觉结构线索的结合来提升分割效果。
  3. 实验结果表明，OVCoser在OVCamo数据集上显著超越了现有的开放词汇语义图像分割方法，展示了该方法的有效性。

📝 摘要（中文）

近年来，大规模视觉-语言模型（VLM）的出现，如CLIP，为开放世界物体感知开辟了新途径。许多研究探索了利用预训练VLM进行开放词汇密集预测任务。然而，现有方法往往基于公共数据集进行实验，这些数据集并未针对开放词汇任务进行优化，且很少涉及在复杂场景中伪装的物体。为此，本文提出了开放词汇伪装物体分割（OVCOS）这一新任务，并构建了包含11,483张手工选择图像的复杂场景数据集OVCamo。我们还建立了一个强大的单阶段开放词汇伪装物体分割变换器基线OVCoser，通过与固定参数的CLIP结合迭代语义指导和结构增强，能够有效捕捉伪装物体。该框架在OVCamo数据集上超越了现有的开放词汇语义图像分割方法，具有更高的实用价值。

🔬 方法详解

问题定义：本文旨在解决开放词汇伪装物体分割任务中的数据偏差问题，现有方法在处理复杂场景中的伪装物体时效果不佳。

核心思路：通过引入开放词汇伪装物体分割任务，结合语义知识和视觉结构线索，设计OVCoser模型以提升伪装物体的分割精度。

技术框架：OVCoser模型为单阶段结构，依赖于固定参数的CLIP，采用迭代语义指导和结构增强模块，整体流程包括特征提取、语义指导和结构增强三个主要阶段。

关键创新：本研究的创新点在于提出了OVCOS任务及OVCamo数据集，并通过结合语义知识与视觉线索的方式，显著提升了伪装物体的分割效果。

关键设计：模型设计中采用了固定参数的CLIP作为基础，结合边缘和深度信息进行结构增强，损失函数设计上注重语义一致性与结构完整性。

📊 实验亮点

在OVCamo数据集上的实验结果显示，OVCoser模型在开放词汇语义图像分割任务中超越了现有的最先进方法，性能提升幅度达到显著水平，具体数据未提供但表明了方法的有效性。

🎯 应用场景

该研究在计算机视觉领域具有广泛的应用潜力，尤其是在安全监控、自动驾驶、环境监测等需要识别伪装物体的场景中。未来，该方法可能推动开放词汇密集预测任务的进一步研究与应用。

📄 摘要（原文）

Recently, the emergence of the large-scale vision-language model (VLM), such as CLIP, has opened the way towards open-world object perception. Many works have explored the utilization of pre-trained VLM for the challenging open-vocabulary dense prediction task that requires perceiving diverse objects with novel classes at inference time. Existing methods construct experiments based on the public datasets of related tasks, which are not tailored for open vocabulary and rarely involve imperceptible objects camouflaged in complex scenes due to data collection bias and annotation costs. To fill in the gaps, we introduce a new task, open-vocabulary camouflaged object segmentation (OVCOS), and construct a large-scale complex scene dataset (\textbf{OVCamo}) containing 11,483 hand-selected images with fine annotations and corresponding object classes. Further, we build a strong single-stage open-vocabulary \underline{c}amouflaged \underline{o}bject \underline{s}egmentation transform\underline{er} baseline \textbf{OVCoser} attached to the parameter-fixed CLIP with iterative semantic guidance and structure enhancement. By integrating the guidance of class semantic knowledge and the supplement of visual structure cues from the edge and depth information, the proposed method can efficiently capture camouflaged objects. Moreover, this effective framework also surpasses previous state-of-the-arts of open-vocabulary semantic image segmentation by a large margin on our OVCamo dataset. With the proposed dataset and baseline, we hope that this new task with more practical value can further expand the research on open-vocabulary dense prediction tasks. Our code and data can be found in the \href{https://github.com/lartpang/OVCamo}{link}.