Instance Brownian Bridge as Texts for Open-vocabulary Video Instance Segmentation

📄 arXiv: 2401.09732v1 📥 PDF

作者: Zesen Cheng, Kehan Li, Hao Li, Peng Jin, Chang Liu, Xiawu Zheng, Rongrong Ji, Jie Chen

分类: cs.CV

发布日期: 2024-01-18

💡 一句话要点

提出实例布朗桥模型以解决开放词汇视频实例分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 视频实例分割 布朗桥模型 时间上下文 对比学习 实例动态建模 视频分析

📋 核心要点

  1. 现有开放词汇视频实例分割方法在处理视频帧时未考虑帧间的动态关联，导致对齐效果不佳。
  2. 本文提出通过布朗桥模型链接帧级实例表示，利用时间上下文信息提升实例动态建模能力。
  3. 实验表明，BriVIS在BURST数据集上取得7.43 mAP，显著超越现有的开放词汇SOTA方法OV2Seg，提升幅度达到49.49%。

📝 摘要（中文）

开放词汇视频实例分割（VIS）的主要目标是用任意类别文本对对象进行时间定位。由于视频数据词汇不足，现有方法通过图像-文本预训练模型分别对每帧和类别文本进行对齐，忽略了帧之间的关联性，导致实例运动上下文的分离，从而造成视频与文本之间的对齐效果不佳。为了解决这一问题，本文提出将帧级实例表示链接为布朗桥，以建模实例动态，并将桥级实例表示对齐到类别文本，从而实现更精确的开放词汇VIS（BriVIS）。我们在一个冻结的视频分割器上构建系统生成帧级实例查询，并设计时间实例重采样器（TIR）从帧查询中生成具有时间上下文的查询。通过对比目标学习区分性桥级表示，设计桥-文本对齐（BTA）以实现对齐。实验结果表明，BriVIS在大型词汇VIS数据集（BURST）上取得了7.43 mAP，相较于OV2Seg（4.97 mAP）提升了49.49%。

🔬 方法详解

问题定义：本文旨在解决开放词汇视频实例分割中的帧间动态关联不足的问题。现有方法通过独立对齐每帧与类别文本，忽视了视频的时间上下文，导致对齐效果不理想。

核心思路：论文提出将帧级实例表示链接为布朗桥，以建模实例的动态变化，并通过桥-文本对齐（BTA）实现与类别文本的精确对齐。这种设计能够更好地捕捉实例在视频中的运动信息。

技术框架：整体架构包括一个冻结的视频分割器用于生成帧级实例查询，接着通过时间实例重采样器（TIR）生成具有时间上下文的查询，最后通过BTA对桥级表示进行对齐。

关键创新：最重要的创新在于引入布朗桥模型来链接帧级实例表示，显著改善了实例动态的建模能力，与传统方法相比，能够更有效地利用时间信息。

关键设计：在设计中，采用对比学习目标来优化桥级表示的学习过程，确保生成的实例表示具有较强的区分性。此外，参数设置和损失函数的选择也经过精心设计，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BURST数据集上，BriVIS实现了7.43 mAP，相较于现有的开放词汇SOTA方法OV2Seg（4.97 mAP）提升了49.49%。这一显著的性能提升展示了新方法在实例动态建模方面的有效性。

🎯 应用场景

该研究在视频分析、自动驾驶、监控系统等领域具有广泛的应用潜力。通过提高开放词汇视频实例分割的准确性，能够更好地支持复杂场景下的对象识别与跟踪，推动智能视频理解技术的发展。

📄 摘要（原文）

Temporally locating objects with arbitrary class texts is the primary pursuit of open-vocabulary Video Instance Segmentation (VIS). Because of the insufficient vocabulary of video data, previous methods leverage image-text pretraining model for recognizing object instances by separately aligning each frame and class texts, ignoring the correlation between frames. As a result, the separation breaks the instance movement context of videos, causing inferior alignment between video and text. To tackle this issue, we propose to link frame-level instance representations as a Brownian Bridge to model instance dynamics and align bridge-level instance representation to class texts for more precisely open-vocabulary VIS (BriVIS). Specifically, we build our system upon a frozen video segmentor to generate frame-level instance queries, and design Temporal Instance Resampler (TIR) to generate queries with temporal context from frame queries. To mold instance queries to follow Brownian bridge and accomplish alignment with class texts, we design Bridge-Text Alignment (BTA) to learn discriminative bridge-level representations of instances via contrastive objectives. Setting MinVIS as the basic video segmentor, BriVIS surpasses the Open-vocabulary SOTA (OV2Seg) by a clear margin. For example, on the challenging large-vocabulary VIS dataset (BURST), BriVIS achieves 7.43 mAP and exhibits 49.49% improvement compared to OV2Seg (4.97 mAP).