Active Spatial Guidance: Eliminating Injected Positional Mechanisms in Vision Transformers

📄 arXiv: 2607.00580v1 📥 PDF

作者: Cong Liu, Xiaofang Li, Simon X. Yang

分类: cs.CV

发布日期: 2026-07-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出主动空间引导以消除视觉变换器中的位置注入机制

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉变换器 空间引导 自注意力 深度学习 图像分类 语义分割 深度估计

📋 核心要点

  1. 现有的视觉变换器依赖于注入的位置信息机制，导致模型在处理空间信息时存在局限性。
  2. 论文提出主动空间引导，通过训练时的辅助损失来引导空间组织，消除对位置信息的显式注入。
  3. 实验结果显示，该方法在多个任务上均优于传统的注入基线，且在分辨率转移下表现出更好的鲁棒性。

📝 摘要（中文）

视觉变换器（ViTs）通常依赖注入的位置信息机制来解决自注意力的排列不变性。本文提出主动空间引导（Guidance），通过训练过程中的辅助2D坐标回归损失，消除了对位置信息的显式注入。该方法在ImageNet-100分类、ADE20K语义分割和Hypersim单目深度估计等任务上表现出色，超越了强基线模型，表明空间归纳偏差可以通过训练监督来塑造，而无需在架构中注入位置信息。

🔬 方法详解

问题定义：论文要解决的问题是视觉变换器在处理空间信息时对位置信息注入的依赖性，这种依赖限制了模型的灵活性和适应性。现有方法如学习的绝对位置嵌入和旋转位置嵌入在相同训练协议下表现不佳。

核心思路：论文的核心思路是通过训练过程中的监督信号来引导模型学习空间组织，而不是依赖于显式注入的位置信息。这种方法利用了自然图像的空间规律性，使模型能够在没有位置信息的情况下进行有效的学习。

技术框架：整体架构包括一个不依赖位置信息的ViT编码器和一个任务特定的预测模块。训练过程中引入了一个辅助的2D坐标回归损失，指导模型学习空间关系。指导头仅在训练期间使用，推理时被移除。

关键创新：最重要的技术创新点在于提出了主动空间引导这一训练目标，成功消除了对位置信息的显式注入。这一方法与现有方法的本质区别在于，空间归纳偏差可以通过训练监督来塑造，而不是在模型架构中硬编码。

关键设计：在损失函数设计上，论文引入了辅助的2D坐标回归损失，确保模型在学习过程中能够有效捕捉空间信息。此外，使用DINOv3 ViT作为基础架构，确保了模型的强大性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，主动空间引导在ImageNet-100分类任务中显著提升了性能，相较于传统的注入基线，准确率提高了X%。在ADE20K语义分割和Hypersim单目深度估计任务中也表现出色，验证了该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、语义分割和深度估计等任务。通过消除对位置信息的依赖，模型能够在更广泛的场景中应用，提升了模型的灵活性和适应性。未来，该方法可能推动视觉变换器在更复杂任务中的应用，促进智能视觉系统的发展。

📄 摘要（原文）

Vision Transformers (ViTs) commonly rely on injected positional mechanisms to address self-attention's permutation invariance. Motivated by the spatial regularities of natural images, we ask whether spatial organization can be induced from data rather than explicitly injected. Under controlled, matched from-scratch training, we propose Active Spatial Guidance (Guidance), a training-only objective that disables positional injection and applies an auxiliary 2D coordinate-regression loss to the final-layer patch tokens. The guidance head is used only during training and removed for inference; the deployed model consists of a positional-injection-free ViT encoder and the task-specific prediction module. Using DINOv3 ViT backbones, Guidance consistently improves performance on ImageNet-100 classification, ADE20K semantic segmentation, and Hypersim monocular depth estimation, outperforming strong injected baselines such as learned absolute positional embeddings and rotary positional embeddings under identical training protocols. On ImageNet-100, broader comparisons against representative injected positional designs further support Guidance's effectiveness. Guidance also improves robustness under resolution transfer, and multi-resolution training further strengthens accuracy across input sizes. Overall, our results suggest that spatial inductive bias in ViTs need not be architecturally injected, but can be shaped through training-time supervision. The code used for training and evaluation is publicly available in https://github.com/cloudlc/asg.