Self-Supervised Visual On-Policy Distillation

📄 arXiv: 2608.14144v1 📥 PDF

作者: Yijiang Li, Yijun Liang, Yunjie Tian, Bingyang Wang, Ke Zhang, Zhenfei Yin, Di Fu, Philip Torr, Nuno Vasconcelos

分类: cs.CV, cs.AI

发布日期: 2026-08-14

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出自监督视觉在线蒸馏方法以解决信息不对称问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 视觉蒸馏 信息不对称 增强学习 计算机视觉 模型性能提升

📋 核心要点

  1. 现有的视觉在线蒸馏方法依赖于教师与学生之间的信息不对称，缺乏有效的无监督学习信号。
  2. 本文提出自监督视觉在线蒸馏（S$^2$VOPD），通过从学生中减去信息而非向教师中添加特权信息，构建有效的学习信号。
  3. 在六个细粒度感知基准上，S$^2$VOPD将Qwen3.5-4B的性能从70.7%提升至77.4%，显著优于所有开源模型。

📝 摘要（中文）

视觉在线蒸馏依赖于教师与学生之间的信息不对称，通常通过更强大的教师或特权监督来实现。本文提出了一种新方法——自监督视觉在线蒸馏（S$^2$VOPD），通过从学生中减去信息而非向教师中添加特权信息，创造出有效的学习信号。S$^2$VOPD通过不对称增强视图构建在线学习信号，系统探索了多种视觉增强方式，发现不对称性、增强强度和任务一致性对性能有显著影响。实验结果表明，S$^2$VOPD在六个细粒度感知基准上显著提升了模型性能，恢复了96%的特权信息带来的改进。

🔬 方法详解

问题定义：本文解决了在缺乏特权信息的情况下，如何有效进行视觉在线蒸馏的问题。现有方法通常依赖于强大的教师模型或额外的监督信息，限制了其应用场景。

核心思路：论文的核心思路是通过从学生中减去信息来创造教师与学生之间的信息不对称，而不是向教师中添加特权信息。这种设计使得学生能够在没有额外标注或奖励的情况下，获得有效的学习信号。

技术框架：S$^2$VOPD的整体架构包括两个主要模块：教师模型和学生模型。教师模型基于原始图像生成分布，而学生模型则基于强增强视图进行学习。通过对比这两者的分布，构建在线学习信号。

关键创新：最重要的技术创新在于通过不对称增强视图来实现信息不对称，避免了传统方法中对特权信息的依赖。这一方法在保持训练数据不变的情况下，显著提升了模型性能。

关键设计：在设计上，论文系统探索了多种视觉增强方式，发现不对称性和增强强度对性能有显著影响。具体而言，增强强度在中等水平时性能最佳，而完全去除与任务相关的证据会导致无效的差异。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，S$^2$VOPD在六个细粒度感知基准上将Qwen3.5-4B的性能从70.7%提升至77.4%，超越了所有开源模型，甚至超过了GPT-5.4。此外，该方法在保持训练数据不变的情况下，恢复了96%的特权信息带来的性能提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、机器人感知等。通过提升模型在无监督环境下的学习能力，S$^2$VOPD能够在缺乏标注数据的情况下，仍然实现高效的学习和推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S$^2$VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S$^2$VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S$^2$VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd