ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation

📄 arXiv: 2606.16996v1 📥 PDF

作者: Tran Dinh Tien, Zhiqiang Shen

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-06-15

备注: Preprint. Code is available at https://github.com/VILA-Lab/ActiveSAM

🔗 代码/项目: GITHUB

💡 一句话要点

提出ActiveSAM以解决开放词汇语义分割效率低下问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇分割 图像条件推理 语义分割 深度学习 计算机视觉

📋 核心要点

  1. 现有的开放词汇语义分割方法在处理全分辨率解码时效率低下，无法充分利用图像中的类信息。
  2. ActiveSAM通过规范化类提示和图像条件的活动集估计，优化了分割过程，避免了不必要的计算。
  3. 在八个基准测试中，ActiveSAM在速度和准确性上均优于现有方法，显示出显著的性能提升。

📝 摘要（中文）

Segment Anything Model 3 (SAM 3)为概念提示分割提供了强大的冻结骨干网络，但直接应用于开放词汇语义分割（OVSS）效率较低。我们提出了ActiveSAM，一个无训练、零-shot推理框架，将SAM 3转变为主动词汇分割器。ActiveSAM首先规范化和扩展类提示，然后从低分辨率的存在预览中估计图像条件的活动集。只有保留的类在全分辨率下解码，使用桶式提示复用与冻结的SAM 3解码器。预览阶段仅使用类存在证据，跳过不必要的分割头计算，而最终阶段应用边际感知背景校准以抑制低置信度像素。ActiveSAM不需要目标数据集训练、权重更新和真实类存在标签。在八个OVSS基准测试中，ActiveSAM在训练无关的开放词汇语义分割中改善了速度-准确性权衡，平均提升约1.4 mIoU，同时在大词汇数据集上运行速度提高至5.5倍。ActiveSAM在模拟真实世界分布转移的图像损坏下表现出最强的鲁棒性，适合在噪声输入领域如自动驾驶和具身AI中部署。代码可在https://github.com/VILA-Lab/ActiveSAM获取。

🔬 方法详解

问题定义：论文要解决的具体问题是开放词汇语义分割在全分辨率解码时的效率低下，现有方法通常需要对整个数据集的词汇进行处理，导致计算资源浪费。

核心思路：论文的核心解决思路是通过引入ActiveSAM框架，利用图像条件的活动集来优化分割过程，从而只对相关类进行全分辨率解码，显著提高效率。

技术框架：ActiveSAM的整体架构包括两个主要阶段：首先是低分辨率的类存在预览阶段，用于估计活动类集；其次是全分辨率解码阶段，仅对保留的类进行处理。

关键创新：最重要的技术创新点在于引入了类提示的规范化和扩展，以及边际感知背景校准，这些设计使得ActiveSAM在处理低置信度像素时更加有效。

关键设计：ActiveSAM不需要目标数据集的训练和权重更新，使用桶式提示复用技术来优化解码过程，同时在预览阶段仅依赖类存在证据，避免了不必要的计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个开放词汇语义分割基准测试中，ActiveSAM平均提升约1.4 mIoU，并在大词汇数据集上运行速度提高至5.5倍，显示出显著的速度-准确性权衡改善，超越了当前的最先进方法SegEarth-OV3。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和具身人工智能等场景，能够在处理噪声输入和真实世界分布转移时提供更高的鲁棒性和效率。未来，ActiveSAM有望在更广泛的开放词汇任务中得到应用，推动相关技术的发展。

📄 摘要（原文）

Segment Anything Model 3 (SAM 3) provides a strong frozen backbone for concept-prompted segmentation, but applying it directly to open-vocabulary semantic segmentation (OVSS) is inefficient: full-resolution decoding is typically run over the entire dataset vocabulary, whereas each image contains only a small active subset of classes. We introduce ActiveSAM, a training-free, zero-shot inference framework that turns SAM 3 into an active-vocabulary segmenter. ActiveSAM first canonicalizes and expands class prompts, then estimates an image-conditioned active set from a low-resolution presence preview. Only the retained classes are decoded at full resolution, using bucketed prompt multiplexing with the frozen SAM 3 decoder. The preview stage uses only class-presence evidence and skips unnecessary segmentation-head computation, while the final stage applies margin-aware background calibration to suppress low-confidence pixels. ActiveSAM requires no target-dataset training, no weight updates, and no oracle class-presence labels. Across eight OVSS benchmarks, ActiveSAM improves the speed-accuracy tradeoff of training-free open-vocabulary semantic segmentation, outperforming the current state-of-the-art SegEarth-OV3 by approximately +1.4 mIoU on average while running up to 5.5x faster on large-vocabulary datasets. ActiveSAM also demonstrates the strongest robustness under image corruption that simulates real-world distribution shift, making it well-suited for deployment in noisy-input domains such as autonomous driving and embodied AI. Code is available at https://github.com/VILA-Lab/ActiveSAM.