Explicit Motion Handling and Interactive Prompting for Video Camouflaged Object Detection

📄 arXiv: 2403.01968v2 📥 PDF

作者: Xin Zhang, Tao Xiao, Gepeng Ji, Xuan Wu, Keren Fu, Qijun Zhao

分类: cs.CV

发布日期: 2024-03-04 (更新: 2025-04-28)

备注: Accepted to TIP; Corresponding author: Keren Fu (fkrsuper@scu.edu.cn). Code: https://github.com/zhangxin06/EMIP

🔗 代码/项目: GITHUB

💡 一句话要点

提出EMIP框架以解决视频伪装目标检测中的运动处理问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频伪装检测 运动处理 光流估计 深度学习 交互提示

📋 核心要点

  1. 现有的VCOD方法在复杂动态场景中表现不佳，主要由于依赖于噪声运动估计或隐式建模运动。
  2. 本文提出的EMIP框架通过显式处理运动线索，结合双流架构进行伪装分割和光流估计，提升了检测性能。
  3. 实验结果显示，EMIP在多个VCOD基准测试中取得了新的最先进的性能，验证了其有效性。

📝 摘要（中文）

伪装使得静态目标的识别面临挑战，而目标的任何运动都能打破这种伪装。现有的视频伪装目标检测（VCOD）方法依赖于噪声运动估计或隐式建模运动，限制了在复杂动态场景中的检测性能。本文提出了一种新颖的显式运动处理和交互提示框架EMIP，显式处理运动线索，采用冻结的预训练光流基础模型。EMIP采用双流架构，同时进行伪装分割和光流估计。两个可学习模块——伪装馈送器和运动收集器，分别设计用于增强两个流的输出。实验结果表明，EMIP在流行的VCOD基准上达到了新的最先进记录。

🔬 方法详解

问题定义：本文旨在解决视频伪装目标检测中的运动处理问题。现有方法在复杂动态场景中表现不佳，主要由于依赖于噪声运动估计或隐式建模运动，导致检测性能受限。

核心思路：EMIP框架通过显式处理运动线索，利用冻结的预训练光流基础模型，结合双流架构进行伪装分割和光流估计，从而提升检测性能。

技术框架：EMIP的整体架构包括两个主要模块：伪装馈送器和运动收集器。伪装馈送器负责将分割信息传递给运动流，而运动收集器则将运动信息反馈给分割流。两个模块通过交互提示的方式进行信息交换。

关键创新：EMIP的主要创新在于显式处理运动线索和交互提示机制，利用自监督学习来优化光流估计，与现有方法相比，能够更好地捕捉动态场景中的运动信息。

关键设计：在设计中，采用了冻结的光流模型作为基础，两个可学习模块的损失函数设计为促进分割和运动信息的相互增强，确保了模型在动态场景中的鲁棒性。实验中还引入了长期历史信息作为提示，以提高时间一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EMIP在多个流行的VCOD基准测试中达到了新的最先进记录，具体性能提升幅度超过了现有方法，验证了其在复杂动态场景中的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括监控视频分析、自动驾驶系统和军事侦察等。通过提高伪装目标的检测能力，EMIP能够在复杂环境中提供更可靠的目标识别，具有重要的实际价值和未来影响。

📄 摘要（原文）

Camouflage poses challenges in distinguishing a static target, whereas any movement of the target can break this disguise. Existing video camouflaged object detection (VCOD) approaches take noisy motion estimation as input or model motion implicitly, restricting detection performance in complex dynamic scenes. In this paper, we propose a novel Explicit Motion handling and Interactive Prompting framework for VCOD, dubbed EMIP, which handles motion cues explicitly using a frozen pre-trained optical flow fundamental model. EMIP is characterized by a two-stream architecture for simultaneously conducting camouflaged segmentation and optical flow estimation. Interactions across the dual streams are realized in an interactive prompting way that is inspired by emerging visual prompt learning. Two learnable modules, i.e., the camouflaged feeder and motion collector, are designed to incorporate segmentation-to-motion and motion-to-segmentation prompts, respectively, and enhance outputs of the both streams. The prompt fed to the motion stream is learned by supervising optical flow in a self-supervised manner. Furthermore, we show that long-term historical information can also be incorporated as a prompt into EMIP and achieve more robust results with temporal consistency. Experimental results demonstrate that our EMIP achieves new state-of-the-art records on popular VCOD benchmarks. Our code is made publicly available at https://github.com/zhangxin06/EMIP.