Boosting Text-Driven Video Segmentation via Geometry-Aware Distillation

📄 arXiv: 2606.24464v1 📥 PDF

作者: Tianyu Zhu, Yingping Liang, Hesong Li, Ying Fu

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted by ECCV2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出GeoLaV以解决文本驱动视频分割中的几何一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本驱动分割 几何一致性 视频理解 蒸馏训练 三维结构 时空一致性 多模态学习

📋 核心要点

  1. 现有的文本驱动视频分割方法在几何一致性方面存在不足，导致空间理解能力弱。
  2. 本文提出GeoLaV框架，通过单目几何预训练和几何感知蒸馏，增强视频分割的几何一致性。
  3. 实验表明，GeoLaV在多个RVOS基准上实现了最先进的性能，且在仅使用图像分割数据时也表现出显著的零-shot 泛化能力。

📝 摘要（中文）

文本驱动的参考视频对象分割（RVOS）旨在根据自然语言定位和分割视频中的目标对象。然而，现有模型通常在二维图像或视频数据集上训练，使用简单的分割损失，忽视了帧间的几何一致性，导致空间理解能力较弱。本文提出了一种几何增强的语言引导视频分割框架GeoLaV，该框架通过两阶段的方式从图像中提取三维几何知识，以增强文本驱动的视频分割。在第一阶段，进行单目几何预训练，获取几何一致的视觉表示。在第二阶段，引入几何感知蒸馏，进一步在视频分割数据集上微调模型。实验结果表明，该方法在多个RVOS基准上实现了最先进的性能。

🔬 方法详解

问题定义：本文解决的问题是文本驱动的视频对象分割中的几何一致性不足，现有方法在训练过程中未能有效利用帧间的几何信息，导致分割效果不佳。

核心思路：论文的核心思路是通过两阶段的框架GeoLaV，从图像中提取三维几何知识，以增强视频分割的几何一致性和语言理解能力。第一阶段通过单目几何预训练获取几何一致的视觉表示，第二阶段则通过几何感知蒸馏进行微调。

技术框架：GeoLaV框架分为两个主要阶段：第一阶段进行单目几何预训练，利用单目新视角合成技术在大规模单图像数据集上进行训练；第二阶段引入几何感知蒸馏，在视频分割数据集上微调模型，转移来自通用三维先验模型的结构知识。

关键创新：最重要的技术创新点在于引入几何感知蒸馏，强化了模型的三维意识，显著提升了时空一致性和语言基础的分割效果。这一方法与传统的二维分割方法在处理几何信息上有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以强化几何一致性，并在网络结构中集成了几何信息提取模块，确保模型在训练过程中能够有效学习到三维结构知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GeoLaV在多个RVOS基准上达到了最先进的性能，尤其是在仅使用图像分割数据时，展现出显著的零-shot 泛化能力。结合几何感知蒸馏进行微调后，模型的性能进一步提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等场景，能够帮助系统更准确地理解和处理视频中的动态对象。未来，随着技术的进一步发展，GeoLaV可能在多模态交互和人机协作等领域发挥更大作用。

📄 摘要（原文）

Text-driven Referring Video Object Segmentation (RVOS) aims to locate and segment target objects in videos given natural language. However, existing models are typically trained on 2D image or video datasets with naive segmentation losses, which overlooks the geometric consistency across frames and leads to weak spatial understanding. In this paper, we propose Geometry-enhanced Language-guided Video segmentation (GeoLaV), a two-stage framework that distills 3D geometric knowledge from images to enhance text-driven video segmentation. In the first stage, we perform monocular geometry pretraining with monocular novel-view synthesis, enabling the model to acquire geometry-consistent visual representations via spatial alignment on large-scale single-image datasets. In the second stage, we introduce geometry-aware distillation and fine-tune the model on video segmentation datasets, transferring 3D structural knowledge from a general 3D prior model. This process reinforces 3D awareness and improves both spatiotemporal coherence and language grounding in segmentation. Extensive experiments show that our method using only image segmentation data already provides notable zero-shot generalization in RVOS. When combined with geometry-aware distillation for fine-tuning on videos, our method achieves state-of-the-art performance across multiple RVOS benchmarks. The code is available at https://github.com/Tony1882880/GeoLaV.