VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

📄 arXiv: 2607.28590v1 📥 PDF

作者: Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

分类: cs.CV, cs.CL

发布日期: 2026-07-30

备注: The project is accessible at https://github.com/DeepExperience/VAD_Multimodal_OPD

💡 一句话要点

提出视觉归因蒸馏以解决多模态知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉归因 多模态蒸馏 知识转移 反事实学习 目标重建 细粒度视觉 智能系统

📋 核心要点

  1. 现有的多模态在线蒸馏方法在视觉信号与语言先验的结合上存在源混合问题，导致修正效果不理想。
  2. 本文提出视觉归因蒸馏（VAD），通过反事实目标重建来估计教师修正中由视觉证据支持的部分，提供更清晰的监督信号。
  3. 在六个细粒度视觉基准测试中，VAD在4B和9B规模下均表现优于直接特权视图蒸馏，尤其在证据反驳错误答案时效果显著。

📝 摘要（中文）

多模态在线蒸馏（OPD）通过特权视图教师监督学生生成的轨迹，从而转移细粒度的视觉知识。然而，现有方法的下一个标记修正是源混合的，结合了视觉信号与语言先验，且受到教师特定效应的影响。本文提出视觉归因蒸馏（VAD），一种反事实目标重建算法，旨在估计教师修正中由视觉证据支持的部分。VAD在每个学生生成的前缀上评估固定教师，并在相关证据存在与移除的情况下进行比较，从而定义出一个视觉证据方向的代理。实验结果表明，VAD在六个细粒度视觉基准上超越了直接特权视图蒸馏和视觉优势加权，特别是在证据反驳错误答案时，表现出更强的目标转移效果。

🔬 方法详解

问题定义：本文旨在解决多模态在线蒸馏中源混合修正的问题，现有方法无法有效区分视觉证据支持的修正与其他因素的影响。

核心思路：提出视觉归因蒸馏（VAD），通过反事实分析来估计教师修正中由视觉证据支持的部分，从而提供更精准的监督信号。

技术框架：VAD的整体流程包括：首先在每个学生生成的前缀上评估固定教师，然后在相关证据存在与移除的情况下进行比较，最后通过变化的对数概率来定义视觉证据方向的代理。

关键创新：VAD的核心创新在于引入了反事实目标重建机制，使得修正信号能够更好地反映视觉证据的影响，与现有的源混合监督方法形成明显区别。

关键设计：在训练过程中，重建的目标作为主要监督信号，而特权教师则提供弱正则化。关键参数设置和损失函数设计确保了视觉证据的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VAD在六个细粒度视觉基准上超越了直接特权视图蒸馏和视觉优势加权，尤其在证据反驳错误答案时，目标转移效果显著，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉、智能监控等需要多模态信息融合的场景。通过提高视觉知识的转移效率，VAD能够在复杂环境中实现更高的决策准确性，未来可能对智能系统的自主学习和适应能力产生深远影响。

📄 摘要（原文）

Multimodal on-policy distillation (OPD) transfers fine-grained visual knowledge by supervising student-generated trajectories with a privileged-view teacher. Yet its next-token corrections are source-mixed, combining visual signals with linguistic priors and teacher-specific effects. The key challenge is to estimate which corrections are supported by visual evidence, not merely where or how strongly to distill. We introduce Visual Attribution Distillation (VAD), a counterfactual target-reconstruction algorithm that estimates the visually attributable part of a teacher correction. At each student-generated prefix, VAD evaluates the same fixed teacher with the relevant evidence present and removed. The corresponding change in centered log-probabilities defines ut, a signed proxy for the visual evidence direction that estimates how revealing the evidence supports or refutes candidate tokens. VAD projects the original correction onto this proxy to obtain an intervention-aligned component and a proxy-unexplained residual, then reconstructs a student-anchored target from the former. During training, this reconstructed target supplies the primary supervision signal, while the privileged teacher contributes a weak regularizer. Across six fine-grained visual benchmarks at 4B and 9B scales, VAD outperforms direct privileged-view distillation and visual-advantage weighting. Token- level and controlled-target analyses show that the proxy-aligned component is enriched in task-relevant visual corrections and yields stronger target shifts, especially when evidence refutes a mistaken answer. These results support counterfactual target reconstruction as an effective alternative to source-mixed supervision.