EOVSAM: Efficient Open-Vocabulary Segmentation with SAM 3 in One Pass

📄 arXiv: 2608.02284v1 📥 PDF

作者: Haomin Peng, Yongkang Li, Zhaoxiang Liu, Xiaojie Jin, Shiguo Lian, Yunchao Wei, Xinggang Wang

分类: cs.CV

发布日期: 2026-08-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出EOVSAM以解决SAM 3计算开销大的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 高效推理 注意力聚合 计算机视觉 深度学习

📋 核心要点

  1. 现有方法如SAM 3在处理开放词汇分割时，计算开销随着目标类别的增加而显著上升。
  2. EOVSAM通过单次预测适配SAM 3，去除提示条件并引入注意力聚合策略，实现高效的掩码生成和分类优化。
  3. 实验结果表明，EOVSAM在所有评估数据集上均提高了分割精度，并在推理速度上实现了高达338倍的加速。

📝 摘要（中文）

开放词汇分割旨在根据任意文本描述识别和分割对象。虽然SAM 3支持名词短语引导的分割，并通过全面的词汇遍历实现了竞争性的开放词汇性能，但在目标类别扩展时面临巨大的计算开销。本文提出了一种高效的开放词汇分割框架EOVSAM，旨在通过单次预测适配SAM 3。EOVSAM去除了提示条件，将SAM 3转变为高效的掩码生成器，并引入了一种新的注意力聚合策略，以端到端优化开放词汇分类。这种方法避免了现有方法常用的多阶段管道和后处理启发式，同时减轻了直接优化分类时可能出现的闭集崩溃。EOVSAM在所有评估数据集上均显著提高了分割精度，并将推理速度提升至338倍。

🔬 方法详解

问题定义：本文旨在解决开放词汇分割中计算开销过大的问题，尤其是当目标类别数量增加时，现有方法如SAM 3的性能显著下降。

核心思路：EOVSAM通过单次预测的方式适配SAM 3，去除了对提示条件的依赖，转而采用注意力聚合策略来优化分类过程，从而提高效率。

技术框架：EOVSAM的整体架构包括高效的掩码生成器和端到端的分类优化模块，避免了多阶段处理和后处理步骤，使得整个流程更加简洁高效。

关键创新：EOVSAM的核心创新在于去除提示条件并引入新的注意力聚合策略，这与现有方法的多阶段处理方式形成了鲜明对比，显著提升了推理速度和精度。

关键设计：在设计中，EOVSAM采用了特定的损失函数和网络结构，以确保在低分辨率下仍能保持高精度，同时优化了计算资源的使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EOVSAM在标准语义和全景分割基准测试中表现出色，显著提高了分割精度，并在推理速度上实现了高达338倍的提升，相较于传统开放词汇分割模型展现出竞争性或领先的准确性和速度优势。

🎯 应用场景

EOVSAM在计算机视觉领域的开放词汇分割任务中具有广泛的应用潜力，尤其适用于需要实时处理和高效分割的场景，如自动驾驶、智能监控和机器人视觉等。其高效性和准确性使其在实际应用中具有重要价值，未来可能推动更多基于文本描述的智能应用的发展。

📄 摘要（原文）

Open-vocabulary segmentation identifies and segments objects from arbitrary textual descriptions. SAM 3 supports noun-phrase-guided segmentation and achieves competitive open-vocabulary performance through exhaustive vocabulary traversal, yet suffers from prohibitive computational overhead as target categories scale. In this paper, we propose an Efficient Open-Vocabulary segmentation framework with SAM 3 (EOVSAM), which adapts SAM 3 for single-pass prediction. EOVSAM removes prompt conditioning to turn SAM 3 into an efficient mask generator and introduces a new Attentional Aggregation strategy to optimize open-vocabulary classification end-to-end. This formulation avoids the multi-stage pipelines and post-processing heuristics commonly used by existing methods, while mitigating the closed-set collapse that can arise when classification is optimized directly. EOVSAM consistently improves segmentation accuracy over vanilla SAM 3 on all evaluated datasets and accelerates inference by up to 338$\times$. Furthermore, EOVSAM maintains high accuracy at lower resolutions while achieving even more remarkable inference speeds. Experiments on standard semantic and panoptic segmentation benchmarks show that EOVSAM combines competitive or state-of-the-art accuracy with a substantial speed advantage over existing open-vocabulary segmentation models. Code and models are available at https://github.com/hustvl/EOVSAM.