FeVOS: Foresight Expression Video Object Segmentation

📄 arXiv: 2606.25585v1 📥 PDF

作者: Kehan Lan, Kaining Ying, Henghui Ding

分类: cs.CV

发布日期: 2026-06-24

备注: Accepted by ECCV 2026. Homepage: https://henghuiding.com/FeVOS/

💡 一句话要点

提出Foresight Expression视频目标分割以解决时空推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频目标分割 时空推理 前瞻表达 深度学习 强化学习 多模态学习 智能监控

📋 核心要点

  1. 现有的视频目标分割方法未能有效处理需要预判的时空推理场景，限制了其应用范围。
  2. 本文提出Foresight Expression视频目标分割任务，要求模型根据未来事件推理出当前帧中对象的掩膜。
  3. FeVOS-R1模型在FeVOS数据集上实现了最先进的性能，并在现有RVOS基准上展现出良好的泛化能力。

📝 摘要（中文）

现有的视频目标分割任务主要集中在描述事件、动作或对象外观的引用表达上，缺乏对需要预判时空推理场景的评估，限制了其适用性。为此，本文提出了Foresight Expression视频目标分割任务，要求在即将到来的视频片段中查询未来事件，并提供观察帧中对象的掩膜作为视觉答案。我们引入了FeVOS数据集，包含968个视频片段、14,525个前瞻表达和2,904个思维链注释，以支持该任务。我们进一步开发了基于MLLM的模型FeVOS-R1，通过监督微调和强化学习的两阶段流程进行训练，取得了FeVOS上的最先进性能，并在现有RVOS基准上表现出强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有视频目标分割任务在处理需要预判的时空推理场景时的不足，现有方法主要关注对象的当前状态，而忽视了未来事件的推理能力。

核心思路：提出Foresight Expression视频目标分割任务，要求模型不仅理解当前帧中的对象，还需推理出未来可能发生的事件，从而生成相应的对象掩膜。这样的设计使得模型能够在动态场景中进行更深层次的理解和预测。

技术框架：整体架构包括数据集构建、模型设计和训练流程。数据集FeVOS包含丰富的前瞻表达和思维链注释，模型FeVOS-R1采用了两阶段的训练流程，首先进行监督微调，然后通过强化学习进行优化。

关键创新：最重要的创新在于引入了前瞻表达的概念，使得模型能够进行时空推理，区别于传统的仅关注当前帧的目标分割方法。

关键设计：在模型设计中，采用了多层次的特征提取网络，并结合了强化学习的策略优化，损失函数设计上考虑了时空一致性，以确保模型在推理时的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FeVOS-R1模型在FeVOS数据集上达到了最先进的性能，具体表现为在多个评估指标上均超过了现有基线，显示出显著的提升幅度。此外，该模型在传统RVOS基准上也展现了强大的泛化能力，证明了其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等场景，能够帮助系统更好地理解和预测未来的行为和事件，从而提升决策能力。未来，该方法可能推动更多关于视频理解和时空推理的研究，促进相关技术的发展。

📄 摘要（原文）

Existing Referring Video Object Segmentation tasks focus on referring expressions describing events, actions or appearances of relevant objects within the observed frames, lacking evaluation in scenarios that require pre-decisive spatio-temporal reasoning, thereby limiting their applicability. To address this, we propose Foresight Expression Video Object Segmentation, a task that queries future events in upcoming video segments and requires masks of the objects in the observed frames as visual answers. For example, in ego-centric scenes, the question "What tool will be used?" demands reasoning over spatio-temporal cues to predict the masks of the next tool to be used, which helps with the understanding of future actions and decisions. To support this task, we introduce FeVOS, a dataset with 968 video clips, 14,525 foresight expressions, and 2,904 chain-of-thought annotations to provide explicit and interpretable reasoning steps. We further develop FeVOS-R1, an MLLM-based model trained on our dataset via a two-stage pipeline of supervised fine-tuning and reinforcement learning. FeVOS-R1 not only achieves state-of-the-art performance on FeVOS, but also demonstrates strong generalization to existing RVOS benchmarks. We hope this work can inspire more research on predictive reasoning in video perception.