Text-to-seed generation: Training-free open-vocabulary seeded semantic segmentation via re-purposing diffusion as text-guided seed generator

📄 arXiv: 2608.26624v1 📥 PDF

作者: Kumju Jo, Heesun Jung, Sungyong Baik

分类: cs.CV

发布日期: 2026-08-27

备注: Preprint version of the work accepted for publication in Knowledge-Based Systems

DOI: 10.1016/j.knosys.2026.116698

💡 一句话要点

提出Text-to-Seed框架以解决开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇语义分割 种子生成 文本引导 Stable Diffusion 图像分割 无训练框架 语义基础 区域扩展

📋 核心要点

  1. 现有的开放词汇语义分割方法在初始掩膜不准确时表现不佳，依赖于粗略掩膜的细化策略不够可靠。
  2. 本文提出Text-to-Seed（T2S）框架，通过文本引导的种子定位和基于种子的区域扩展来实现更可靠的分割。
  3. T2S在标准OVSS基准上表现优异，无需任务特定训练或额外注释，展示了其强大的性能和有效性。

📝 摘要（中文）

开放词汇语义分割（OVSS）旨在根据任意文本查询对图像区域进行分割。尽管Segment Anything Model（SAM）是强大的分割基础模型，但其在OVSS上的独立性能仍然有限。现有方法通常使用SAM来细化其他模型预测的粗略掩膜，但当初始掩膜不准确时，这种策略不可靠。本文提出通过准确的对象点（种子）引导SAM作为区域扩展模块，从而实现更可靠的分割。我们提出了Text-to-Seed（T2S），一个无训练的框架，利用Stable Diffusion的文本到区域对应关系生成目标类别的注意力种子点。这些稀疏种子作为点提示用于SAM生成完整的对象掩膜，T2S在标准OVSS基准上表现出色，展示了语义基础与种子驱动空间分割相结合的有效性。

🔬 方法详解

问题定义：本文旨在解决开放词汇语义分割中的初始掩膜不准确导致的分割性能不足问题。现有方法多依赖粗略掩膜的细化，缺乏可靠性。

核心思路：提出通过准确的对象点（种子）引导SAM进行区域扩展，而非依赖不准确的粗略掩膜，从而实现更高效的分割。

技术框架：T2S框架包括两个主要阶段：首先是文本引导的种子定位，利用Stable Diffusion生成目标类别的种子点；其次是使用这些种子点作为提示输入到SAM中，生成完整的对象掩膜。

关键创新：T2S的核心创新在于无训练的种子生成机制，利用文本到区域的对应关系，显著提高了分割的准确性和可靠性，与传统方法相比，避免了对粗略掩膜的依赖。

关键设计：在技术细节上，T2S采用了注意力机制来生成种子点，确保种子点的稀疏性和准确性，同时不需要额外的训练或注释，简化了模型的使用和部署。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准OVSS基准测试中，T2S框架表现出色，显著提高了分割精度。与传统方法相比，T2S在多个数据集上实现了性能提升，具体数据未在摘要中提供，需参考原文以获取详细信息。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和图像检索等。通过实现高效的开放词汇语义分割，T2S可以帮助提升图像理解的准确性和灵活性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Open-vocabulary semantic segmentation (OVSS) aims to segment image regions corresponding to arbitrary text queries. Although the Segment Anything Model (SAM) is a powerful foundation model for segmentation, its standalone performance on OVSS remains limited. Existing methods therefore often use SAM to refine coarse masks predicted by other models, but this strategy is unreliable when the initial masks are inaccurate. In this work, we argue that more reliable segmentation can be achieved by exploiting SAM as a region expansion module guided by accurate object points (i.e., seeds) rather than inaccurate coarse masks. Inspired by classical seeded segmentation, we reformulate OVSS as text-guided seed localization followed by seed-based region expansion. To realize this idea, we propose Text-to-Seed (T2S), a training-free framework that leverages the text-to-region correspondence of Stable Diffusion to generate attention-based seed points for target categories described by text. These sparse seeds are then used as point prompts for SAM to produce full object masks. Without task-specific training or additional annotations, T2S achieves strong performance on standard OVSS benchmarks, demonstrating the effectiveness of combining semantic grounding with seed-driven spatial segmentation.