SimulFlow: Simultaneously Extracting Feature and Identifying Target for Unsupervised Video Object Segmentation

📄 arXiv: 2311.18286v1 📥 PDF

作者: Lingyi Hong, Wei Zhang, Shuyong Gao, Hong Lu, WenQiang Zhang

分类: cs.CV

发布日期: 2023-11-30

备注: Accepted to ACM MM 2023

💡 一句话要点

提出SimulFlow以解决无监督视频目标分割中的特征提取与目标识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无监督视频目标分割 特征提取 目标识别 注意力机制 计算效率 深度学习 视频分析

📋 核心要点

  1. 现有的无监督视频目标分割方法通常采用两个流架构，导致计算复杂度高且融合效果不佳。
  2. 本文提出的SimulFlow模型通过同时进行特征提取和目标识别，简化了处理流程，提高了效率。
  3. 实验结果显示，SimulFlow在多个数据集上表现优异，尤其在速度和参数量上具有显著优势。

📝 摘要（中文）

无监督视频目标分割（UVOS）旨在在没有人工干预的情况下检测视频序列中的主要对象。现有方法通常依赖于两个独立的流架构来编码外观和运动信息，随后再进行融合，这种方法计算开销大且难以有效融合两种模态。本文提出了一种新颖的UVOS模型SimulFlow，能够同时进行特征提取和目标识别，从而实现高效的无监督视频目标分割。我们设计了SimulFlow注意力机制，通过利用注意力操作的灵活性，将图像和光流特征连接起来，使用粗略掩码来约束注意力操作，排除噪声影响。实验结果表明，我们的方法在多个基准数据集上达到了最先进的结果，尤其在DAVIS-16上取得了87.4%的J&F，速度达到63.7 FPS，参数量仅为13.7 M。

🔬 方法详解

问题定义：本文旨在解决无监督视频目标分割中的特征提取与目标识别的效率问题。现有方法依赖于两个流架构，导致计算复杂度高且融合效果不理想。

核心思路：SimulFlow模型通过设计SimulFlow注意力机制，实现特征提取与目标识别的同时进行，从而提高了处理效率并减少了计算开销。

技术框架：SimulFlow的整体架构包括特征提取模块、SimulFlow注意力机制和轻量级解码器。特征提取模块负责获取图像和光流特征，注意力机制则在此基础上进行目标识别，最后通过解码器生成最终的分割结果。

关键创新：SimulFlow注意力机制是本文的核心创新，它通过双向信息流动消除了对额外融合模块的需求，使得模型更加高效。

关键设计：模型采用了粗略掩码来约束注意力操作，确保注意力集中在目标区域，同时排除噪声影响。损失函数和网络结构经过精心设计，以实现最佳的分割效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DAVIS-16数据集上，SimulFlow模型达到了87.4%的J&F指标，速度为63.7 FPS，且参数量仅为13.7 M，显著优于现有方法。这表明SimulFlow在性能和效率上均取得了重要突破。

🎯 应用场景

该研究在视频监控、自动驾驶、视频编辑等领域具有广泛的应用潜力。通过高效的无监督视频目标分割，能够实现实时目标检测与跟踪，提升智能系统的自主决策能力。未来，SimulFlow有望在更多复杂场景中发挥作用，推动相关技术的发展。

📄 摘要（原文）

Unsupervised video object segmentation (UVOS) aims at detecting the primary objects in a given video sequence without any human interposing. Most existing methods rely on two-stream architectures that separately encode the appearance and motion information before fusing them to identify the target and generate object masks. However, this pipeline is computationally expensive and can lead to suboptimal performance due to the difficulty of fusing the two modalities properly. In this paper, we propose a novel UVOS model called SimulFlow that simultaneously performs feature extraction and target identification, enabling efficient and effective unsupervised video object segmentation. Concretely, we design a novel SimulFlow Attention mechanism to bridege the image and motion by utilizing the flexibility of attention operation, where coarse masks predicted from fused feature at each stage are used to constrain the attention operation within the mask area and exclude the impact of noise. Because of the bidirectional information flow between visual and optical flow features in SimulFlow Attention, no extra hand-designed fusing module is required and we only adopt a light decoder to obtain the final prediction. We evaluate our method on several benchmark datasets and achieve state-of-the-art results. Our proposed approach not only outperforms existing methods but also addresses the computational complexity and fusion difficulties caused by two-stream architectures. Our models achieve 87.4% J & F on DAVIS-16 with the highest speed (63.7 FPS on a 3090) and the lowest parameters (13.7 M). Our SimulFlow also obtains competitive results on video salient object detection datasets.