MAVISEG: Manifold Propagation and Visual Prototypes for Zero-Shot Open-Vocabulary Segmentation in Diffusion Transformers

📄 arXiv: 2608.05878v1 📥 PDF

作者: Rajatsubhra Chakraborty, Xujun Che, Ritabrata Chakraborty, Xi Niu, Depeng Xu

分类: cs.CV

发布日期: 2026-08-06

备注: 20 pages, 14 figures, 9 tables. Preprint under review

💡 一句话要点

提出MAVISEG以解决零-shot开放词汇分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 零-shot学习 开放词汇分割 扩散变换器 语义分割 无训练方法 结构信号恢复 计算机视觉

📋 核心要点

  1. 现有的归因方法在进行像素评分时，忽略了模型生成过程中的结构信号，导致分割效果不佳。
  2. MAVISEG通过引入一个无训练的精炼层，利用像素-概念评分场和像素特征空间来恢复被忽视的信号。
  3. 在六个基准测试中，MAVISEG在无训练方法中表现最佳，尤其在初始捕获较弱的情况下，提升效果显著。

📝 摘要（中文）

文本到图像的扩散变换器通过学习生成对象和场景，成为无训练的零-shot开放词汇语义分割的强大候选者。现有的归因方法独立评分每个像素，忽略了模型自身暴露的结构信号，如生成轨迹的时间结构和概念的视觉外观统计。本文提出MAVISEG，一个无训练的精炼层，能够恢复这些信号。MAVISEG仅依赖像素-概念评分场和像素特征空间，因此不依赖于特定的归因方法。在六个基准测试中，MAVISEG在无训练方法中取得了最佳的整体结果，包括每个基准的最佳mIoU，尤其在初始捕获较弱的情况下提升最大。

🔬 方法详解

问题定义：论文旨在解决现有零-shot开放词汇分割方法中，归因方法独立评分像素所导致的结构信号丢失问题。现有方法未能充分利用生成模型的潜在信息，导致分割效果不理想。

核心思路：MAVISEG的核心思路是引入一个无训练的精炼层，能够恢复生成过程中丢失的结构信号。通过仅依赖像素-概念评分场和像素特征空间，MAVISEG实现了捕获无关性，适用于多种归因方法。

技术框架：MAVISEG的整体架构包括输入的像素特征和评分场，经过精炼层处理后输出分割结果。该框架的设计使得模型能够有效地利用生成过程中的信息。

关键创新：MAVISEG的主要创新在于其无训练的精炼层，能够恢复生成模型中被忽视的结构信号。这一设计与现有方法的本质区别在于不依赖于特定的归因方法，从而提高了模型的适应性和性能。

关键设计：MAVISEG的关键设计包括对像素-概念评分场的处理方式，以及如何有效地利用像素特征空间。具体的参数设置和损失函数设计尚未详细说明，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个基准测试中，MAVISEG在无训练方法中取得了最佳的整体结果，包括每个基准的最佳mIoU。特别是在初始捕获较弱的情况下，MAVISEG的提升幅度最大，显示出其在处理复杂场景时的有效性。

🎯 应用场景

MAVISEG的研究成果在多个领域具有潜在应用价值，尤其是在需要高精度语义分割的场景，如自动驾驶、医学影像分析和机器人视觉等。通过提高分割精度，该方法能够为相关领域提供更为可靠的技术支持，推动智能系统的发展。

📄 摘要（原文）

Text-to-image diffusion transformers learn about objects and scenes by learning to generate them, making them strong candidates for training-free zero-shot open-vocabulary semantic segmentation. State-of-the-art attribution methods score each pixel independently, comparing its features against a fixed text-derived class representation, whether as an output-space similarity or as a cross-attention weight. This discards structured signals the model itself exposes: the temporal structure of the generative trajectory, the visual appearance statistics of each concept, and the image's own pairwise feature geometry. We present MAVISEG, a training-free refinement layer that recovers these signals. Because its operators consume only a pixel-by-concept score field and a pixel feature space, MAVISEG is capture-agnostic rather than tied to one attribution method. Across six benchmarks it achieves the strongest overall results among training-free methods, including the best mIoU on every benchmark. Interestingly, gains are largest where the initial capture is weakest, and individual operators contribute depending on the noise in the field they refine. Our results indicate that diffusion transformers carry more concept-level information than current attribution methods recover, and that much of it is lost on the way to the mask rather than absent from the model.