Beyond Token Representations: Explicit Visual Object Grounding for Video Reasoning Segmentation
作者: Jun Huang, Junyang Zhang, Zijie Yue, Bingkun Wang, Yong Luo, Miaojing Shi
分类: cs.CV
发布日期: 2026-11-03
备注: Accepted by NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出显式视觉对象定位框架以解决视频推理分割问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频推理分割 显式视觉定位 多模态大语言模型 空间提示生成 查询多样化 掩膜解码 关键帧选择
📋 核心要点
- 现有视频推理分割方法在生成的分割标记上存在语义单一和空间模糊的问题，导致掩膜预测效果不佳。
- 本文提出了一种显式视觉对象定位框架，通过多模态大语言模型生成明确的空间提示，并优化查询过程以提高准确性。
- 在八个数据集上的实验结果表明，所提方法在性能上显著超越了当前的最先进技术，展示了其有效性。
📝 摘要（中文）
视频推理分割（VRS）旨在根据推理查询在视频中推断和分割目标对象。现有方法通常首先推断目标并生成少量分割标记，然后将其输入掩膜解码器进行掩膜预测。然而，这些分割标记在语义上往往单一且空间上模糊，无法有效指导掩膜预测。本文提出了一种显式视觉对象定位框架，首先通过多模态大语言模型生成明确的空间提示（如边界框和点集），并通过多步对话进行优化。此外，引入查询多样化和对齐模块，从不同角度生成辅助查询，增强跨查询一致性。最后，采用基于提示的关键帧选择策略，选择可靠帧支持掩膜解码和传播。大量实验表明，所提方法显著优于现有最先进方法。
🔬 方法详解
问题定义：本文旨在解决视频推理分割中现有方法生成的分割标记在语义和空间上的不足，导致掩膜预测不准确的问题。
核心思路：通过引入显式视觉对象定位框架，利用多模态大语言模型生成明确的空间提示，并通过多步对话进行优化，以提高目标对象的表示能力。
技术框架：整体架构包括空间感知提示生成与优化、查询多样化与对齐模块、以及基于提示的关键帧选择策略。首先生成空间提示，然后优化并生成辅助查询，最后选择可靠帧进行掩膜解码。
关键创新：最重要的创新在于引入了空间提示生成和多样化查询模块，显著提高了目标对象的表示能力和掩膜预测的准确性，与传统方法相比，解决了语义单一和空间模糊的问题。
关键设计：在技术细节上，采用了多步对话优化生成的空间提示，并设计了损失函数以增强跨查询一致性，确保不同查询生成的提示在空间上保持一致性。整体网络结构经过精心设计，以支持高效的掩膜解码与传播。
🖼️ 关键图片
📊 实验亮点
在八个数据集上的实验结果显示，所提方法在视频推理分割任务中显著优于现有最先进方法，具体性能提升幅度达到XX%（具体数据未知），验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够有效提升目标检测与分割的准确性和效率。未来，该框架有望在复杂场景下的实时视频分析中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Video Reasoning Segmentation (VRS) aims to infer and segment target objects specified by reasoning queries in videos. Existing methods typically first infer the target and generate a few segmentation tokens for it, which are then fed into a mask decoder for mask prediction. However, such segmentation tokens tend to be both semantically monotonous and spatially ambiguous, making them largely insufficient to represent the target to guide mask prediction. In this paper, we propose an explicit visual object grounding framework for VRS. Specifically, we first propose a spatial-aware prompt generation and refinement scheme, in which we query a multimodal large language model to generate explicit spatial prompts (i.e., bounding box and point set) for the target and then refine them through multi-step dialogue. Furthermore, we introduce a query diversification and alignment module to generate auxiliary queries that describe the same target from different perspectives. We then enforce cross-query consistency between their predicted spatial prompts to alleviate the training bias caused by query limitations. Finally, we select several reliable frames using a prompt-based keyframe selection strategy to support mask decoding and propagation. Extensive experiments on eight datasets demonstrate that our method significantly outperforms state-of-the-art methods. The code is available at https://github.com/viscom-tongji/EVOG.