Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

📄 arXiv: 2606.18974v1 📥 PDF

作者: Pengyu Li, Zhitao Gao, Lingling Zhang, Muye Huang, Yuanming Li, Fangzhi Xu, Jun Liu

分类: cs.CV

发布日期: 2026-06-17

💡 一句话要点

提出Visual-OPSD以解决多模态推理中的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 知识蒸馏 视觉思维 效率提升 自然语言处理 计算机视觉 智能系统

📋 核心要点

  1. 现有的统一多模态模型在推理过程中存在高昂的计算成本，且去除视觉思维对准确性影响不大。
  2. 论文提出Visual-OPSD，通过教师-学生蒸馏机制，将教师的推理知识转移到仅依赖文本的学生模型中。
  3. 实验表明，Visual-OPSD在多个基准测试中显著提升性能，并在推理速度上实现了大幅度的优化。

📝 摘要（中文）

统一多模态模型（UMMs）通过将生成的“视觉思维”（VTs）与文本推理交替使用来改善空间任务，但这导致了大约一个数量级的推理成本。研究发现，去除或加噪VTs对准确性影响有限。为此，提出Visual On-Policy Self-Distillation（Visual-OPSD），通过教师和学生共享相同权重但上下文不同的方式，将教师的推理转移到仅使用文本的学生上。实验结果显示，Visual-OPSD在九个基准上相较于生成教师提高了3.40个百分点，并实现了14.3倍的速度提升。

🔬 方法详解

问题定义：论文要解决的具体问题是现有统一多模态模型在推理时的高计算成本和效率低下。去除或加噪视觉思维（VTs）对模型准确性影响有限，表明现有方法未能有效利用视觉信息。

核心思路：论文的核心解决思路是通过Visual On-Policy Self-Distillation（Visual-OPSD）机制，利用教师模型和学生模型的不同上下文来实现知识转移。教师模型使用特权的VTs，而学生模型仅接收问题文本，从而在不依赖视觉信息的情况下进行推理。

技术框架：整体架构包括教师模型和学生模型，二者共享相同的网络权重。教师模型在推理时接收VTs，而学生模型则只接收文本输入。通过对学生模型的轨迹进行token级的JSD蒸馏，将教师的推理知识转移给学生。

关键创新：最重要的技术创新点在于通过上下文差异实现的蒸馏机制，使得学生模型能够在没有视觉信息的情况下仍然获得有效的推理能力。这一方法与传统的蒸馏方法不同，强调了上下文的影响。

关键设计：在设计中，采用了token级的JSD损失函数来进行知识蒸馏，确保学生模型能够有效学习教师模型的推理过程。此外，实验中还进行了高斯噪声控制，以验证生成路径的语义内容对模型性能的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Visual-OPSD在九个基准测试中相较于生成教师模型提高了3.40个百分点，并实现了14.3倍的速度提升（10.0秒对比142.8秒每个样本）。此外，相较于同规模的视觉语言模型，Visual-OPSD在VSP任务上提升了63.83个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等多个领域。通过提高多模态推理的效率，Visual-OPSD可以在实时系统中实现更快速的响应，提升用户体验。未来，该方法有望应用于智能助手、自动驾驶和机器人等场景，推动相关技术的发展。

📄 摘要（原文）

Unified multimodal models (UMMs) interleave generated ''visual thoughts'' (VTs) with text reasoning to improve spatial tasks. This incurs roughly an order-of-magnitude inference cost from multi-step diffusion. We find this cost yields limited direct benefit. On ThinkMorph, removing or noising VTs barely changes accuracy across nine benchmarks. Once rendered, attention concentrates on the VT regardless of content. Yet a KL diagnostic shows that conditioning on a privileged VT trace shifts the model's completion distribution. This suggests the generation pathway encodes useful reasoning beyond the rendered pixels. Motivated by this gap, we propose Visual On-Policy Self-Distillation(Visual-OPSD). Teacher and student share identical weights but differ in context: the teacher sees privileged VTs while the student sees only the question. Token-level JSD distillation on on-policy student trajectories transfers the teacher's reasoning to a text-only student. Across nine benchmarks, Visual-OPSD improves over its generative teacher by $+3.40$pp with $14.3\times$ speedup (10.0s vs. 142.8s per sample) and outperforms same-scale VLMs by $+63.83$pp on VSP. A Gaussian-noise control ($+0.40$pp vs. $+10.28$pp for real VTs) and $58.4\%$ closure of the KL gap confirm that gains come from the semantic content of the generation pathway.