Understanding Geometric Representations in Self-Supervised Vision Transformers via Subspace Intervention
作者: Weichen Zhou, Yawen Zou, Chunzhi Gu, Ran Dong, Haoran Xie, Chao Zhang
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出受控子空间干预框架以研究自监督视觉变换器的几何表示
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自监督学习 视觉变换器 几何表示 奇异值分解 特征选择 轻量解码器 计算机视觉
📋 核心要点
- 现有的线性探测方法将特征视为黑箱，无法有效解读其几何表示的底层结构。
- 提出了一种通过奇异值分解隔离低秩子空间的框架，以更好地理解自监督ViTs的几何信息编码。
- 研究结果显示，几何表示在中间层表现最佳，为特征选择和解码器设计提供了新思路。
📝 摘要（中文）
本文提出了一种受控的子空间干预框架，以研究自监督视觉变换器（ViTs）如何编码密集的几何信息。尽管线性探测广泛用于评估几何表示，但其将特征视为黑箱，无法解开底层拓扑。为了解决这一问题，本文通过奇异值分解（SVD）分解收敛线性探测器的权重，以隔离包含显式几何信号的低秩子空间。研究结果表明，预训练目标决定特征编码方式，显式几何表示高度可压缩，且几何精度在中间层达到峰值后向语义抽象过渡。这些发现为有效特征选择和轻量解码器设计提供了基础。
🔬 方法详解
问题定义：本文旨在解决自监督视觉变换器在几何信息编码方面的不足，现有的线性探测方法无法有效解读特征的底层拓扑结构。
核心思路：通过引入受控的子空间干预框架，利用奇异值分解（SVD）分解线性探测器的权重，从而隔离出包含显式几何信号的低秩子空间，以便更深入地理解特征编码机制。
技术框架：整体框架包括三个主要模块：首先是特征提取模块，利用自监督学习方法生成特征；其次是线性探测模块，通过奇异值分解分析特征权重；最后是几何信号分析模块，评估不同预训练目标对几何表示的影响。
关键创新：本文的主要创新在于通过子空间干预方法揭示了自监督ViTs在几何信息编码方面的内在机制，尤其是如何通过不同的预训练目标影响特征的几何表示。
关键设计：在参数设置上，采用了不同的预训练目标（如DINOv2和MAE）进行对比实验，损失函数设计上关注几何信号的提取和压缩，网络结构则基于现有的ViTs架构进行调整，以优化几何信息的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用DINOv2预训练的模型在几何表示的提取效率上显著高于MAE，且在中间层的几何精度达到最高，提供了对比基线的有效提升，进一步验证了低秩子空间的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的物体识别、场景理解和机器人导航等。通过更好地理解自监督学习中的几何表示，可以提升模型在复杂环境中的表现，推动智能系统的实际应用和发展。
📄 摘要（原文）
We introduce a controlled subspace intervention framework to investigate how self-supervised Vision Transformers (ViTs) encode dense geometric information. While linear probing is widely used to assess geometric representations, it treats features as a black box, failing to disentangle the underlying topology. To address this issue, we decompose the weights of converged linear probes to isolate the low-rank subspaces containing explicit geometric signals using Singular Value Decomposition (SVD). Our perspective yields three key insights: (1) Pre-training objectives determine how features are encoded. DINOv2 aligns spatial features for efficient linear extraction, while Masked Autoencoders (MAE) tend to disperse these signals, requiring a broader spatial context. (2) Explicit geometric representations are highly compressible, suggesting dense predictive heads could potentially be constrained to low-rank subspaces with minimal performance loss. (3) The layer-wise task affinity suggests that geometric precision peaks at intermediate layers before yielding to semantic abstraction in the final layers. By connecting internal encoding mechanics with downstream performance, these findings provide a basis for effective feature selection and lightweight decoder design. The source code is available atthis https URL.