LASA: A Weak Supervision Method for Open-Vocabulary Scene Sketch Semantic Segmentation
作者: Liwen Yi, Xianlin Zhang, Yue Zhang, Yue Ming, Xueming Li
分类: cs.CV, cs.AI
发布日期: 2026-06-10
💡 一句话要点
提出LASA方法以解决开放词汇场景草图语义分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇 语义分割 草图理解 弱监督学习 视觉变换器 跨层聚合 结构感知 深度学习
📋 核心要点
- 现有方法在草图语义分割中面临挑战，尤其是缺乏像素级注释和草图特征的稀疏性。
- 论文提出的LASA框架通过跨层聚合视觉变换器的注意力图，增强了对草图结构的理解。
- 实验结果表明，LASA在FS-COCO、SFSD和FrISS数据集上分别提升mIoU达3.43、8.01和15.74，显示出显著的分割精度和空间一致性提升。
📝 摘要（中文）
开放词汇场景草图语义分割旨在根据推理时指定的灵活类别词汇，为稀疏线条图分配密集语义标签，而无需依赖像素级注释。与自然图像不同，草图缺乏纹理和颜色线索，使得语义理解高度依赖于笔画布局和空间配置。我们的关键观察是，不同视觉变换器层的注意力图编码了互补的空间线索：浅层捕捉全局结构布局，而深层则关注局部笔画交点和物体部分。基于此，我们提出了一个结构感知框架LASA，通过跨层聚合来提供比单层更稳健的结构先验，从而在弱监督下引导层次语义对齐并在推理过程中细化预测。
🔬 方法详解
问题定义：论文要解决的具体问题是开放词汇场景草图的语义分割，现有方法在处理草图时由于缺乏细节信息和像素级标注而表现不佳。
核心思路：论文的核心解决思路是利用不同层次的视觉变换器的注意力图进行跨层聚合，以捕捉草图的全局结构和局部细节，从而提高语义理解的准确性。
技术框架：整体架构包括多个视觉变换器层，通过聚合浅层和深层的注意力图，形成一个结构感知的框架，指导语义对齐和预测细化。
关键创新：最重要的技术创新点在于提出了LASA框架，通过跨层聚合实现了比单层特征更强的结构先验，显著提升了草图的语义分割性能。
关键设计：在设计中，采用了多层注意力图的加权聚合策略，损失函数结合了弱监督学习的特点，网络结构则基于视觉变换器的多层特性进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LASA方法在FS-COCO、SFSD和FrISS数据集上分别提升mIoU达3.43、8.01和15.74，显著优于现有的弱监督基线，证明了其在分割精度和空间一致性方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机辅助设计、自动化绘图、游戏开发等，能够为草图生成和理解提供更高效的工具。未来，LASA方法可能在其他视觉任务中展现出更广泛的应用价值，推动开放词汇学习的发展。
📄 摘要（原文）
Open-vocabulary scene sketch semantic segmentation aims to assign dense semantic labels to sparse line drawings based on flexible category vocabularies specified at inference time, without relying on pixel-level annotations during training. Unlike natural images, sketches lack texture and color cues, making semantic understanding heavily dependent on stroke layout and spatial configuration, a challenge that renders single-layer vision-language features inherently unstable. Our key observation is that attention maps from different Vision Transformer layers encode complementary spatial cues: shallow layers capture global structural layouts, while deeper layers focus on local stroke intersections and object parts. This suggests that cross-layer aggregation provides a more robust structural prior than any individual layer alone. Leveraging this insight, we propose a structure-aware framework built upon \textbf{L}ayer-wise \textbf{A}ccumulated \textbf{S}tructural \textbf{A}ttention (\textbf{LASA}), which aggregates multi-layer attention to guide hierarchical semantic alignment under weak supervision and refine predictions during inference. Experiments on FS-COCO, SFSD, and FrISS show that LASA improves mIoU by $+3.43$, $+8.01$, and $+15.74$ over the prior weakly supervised baselines, demonstrating consistent gains in both segmentation accuracy and spatial coherence. Our source code will be made publicly available.