ViT-Up: Faithful Feature Upsampling for Vision Transformers

📄 arXiv: 2606.14024v1 📥 PDF

作者: Krispin Wandel, Jingchuan Wang, Hesheng Wang

分类: cs.CV

发布日期: 2026-06-12

备注: Code is available at: https://github.com/krispinwandel/vit-up

💡 一句话要点

提出ViT-Up以解决视觉变换器特征上采样问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉变换器 特征上采样 密集预测 语义分割 深度估计 计算机视觉 机器学习

📋 核心要点

  1. 现有的图像引导上采样方法依赖于浅层图像编码器，容易导致特征泄漏、碎片化和模糊，影响密集预测任务的效果。
  2. ViT-Up通过利用中间ViT隐藏状态构建逐层查询，避免了对外部图像的依赖，从而实现更高效的特征上采样。
  3. 在DINOv3-S+上，ViT-Up在Cityscapes数据集上提高了+2.07 mIoU，在SPair-71k上提高了+4.17 PCK@0.10，显示出其优越性。

📝 摘要（中文）

视觉变换器（ViTs）已成为视觉表征学习的主流架构，提供了强大的可重用特征。然而，由于全局自注意力的二次成本，ViTs通常在相对较小的补丁令牌网格上操作，这在语义分割和深度估计等密集预测任务中形成了瓶颈。为了解决这一问题，本文提出了一种隐式特征上采样框架ViT-Up，利用中间ViT隐藏状态的逐层查询构建，替代外部图像引导。这种方法能够在任意连续图像坐标上进行特征预测，同时保持与主干特征空间的对齐。实验表明，ViT-Up在密集预测和语义对应任务中始终优于现有的图像引导上采样方法。

🔬 方法详解

问题定义：本文旨在解决视觉变换器在密集预测任务中由于全局自注意力导致的特征上采样瓶颈。现有方法依赖于浅层图像编码器进行引导，容易引入特征泄漏和模糊。

核心思路：ViT-Up的核心思想是通过中间ViT隐藏状态构建逐层查询，替代传统的外部图像引导。这种设计使得特征预测能够在任意连续图像坐标上进行，同时保持与主干特征空间的对齐。

技术框架：ViT-Up的整体架构包括特征提取、逐层查询构建和特征上采样三个主要模块。特征提取模块利用ViT的隐藏状态，逐层查询构建模块通过这些状态生成查询，最后进行特征上采样以获得高质量的密集特征图。

关键创新：ViT-Up的主要创新在于其隐式特征上采样方法，避免了对外部图像引导的依赖，显著减少了特征泄漏和模糊现象。这一方法在特征对齐和连续坐标预测方面具有显著优势。

关键设计：在设计中，ViT-Up采用了特定的损失函数以优化特征对齐效果，并在网络结构上进行了调整，以适应逐层查询的构建和特征上采样的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViT-Up在多个数据集上表现出色，特别是在Cityscapes上提升了+2.07 mIoU，在SPair-71k上提升了+4.17 PCK@0.10。使用更大的DINOv3-B主干时，这些提升进一步增加至+3.36 mIoU和+8.09 PCK@0.10，显示出其在主干容量扩展下的良好可扩展性。

🎯 应用场景

ViT-Up的研究成果在计算机视觉领域具有广泛的应用潜力，尤其是在语义分割、深度估计和其他密集预测任务中。通过提高特征上采样的质量，ViT-Up能够为自动驾驶、医学影像分析和增强现实等实际应用提供更为精准的视觉理解，推动相关技术的发展。

📄 摘要（原文）

Vision Transformers (ViTs) have become a dominant architecture for visual representation learning, providing exceptionally strong and broadly reusable backbone features. However, ViTs are commonly operated on relatively small patch-token grids due to the quadratic cost of global self-attention, which creates a persistent bottleneck for dense prediction tasks such as semantic segmentation and depth estimation. This has motivated the development of task-agnostic feature upsamplers. While recent state-of-the-art methods produce visually sharp dense representations, their reliance on shallow image encoders for guided upsampling can introduce feature leakage, fragmentation, and blur. We introduce ViT-Up, an implicit feature upsampling framework that replaces external image guidance with layer-wise query construction from intermediate ViT hidden states. This enables feature prediction at arbitrary continuous image coordinates while preserving alignment with the backbone feature space. Experiments demonstrate that ViT-Up consistently outperforms state-of-the-art image-guided upsamplers across dense prediction and semantic correspondence. On DINOv3-S+, ViT-Up improves over prior methods by up to +2.07 mIoU on Cityscapes and +4.17 PCK@0.10 on SPair-71k. With the larger DINOv3-B backbone, these gains increase to +3.36 mIoU and +8.09 PCK@0.10, demonstrating that ViT-Up scales favorably with backbone capacity.