Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge

📄 arXiv: 2606.27527v1 📥 PDF

作者: Thomas Shih-Chao Liang, Zhuoran Yu, Yong Jae Lee

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-06-25

备注: Accepted by ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出LaViD框架以实现语言模型对视觉模型的知识迁移

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 视觉模型 知识蒸馏 多模态学习 概念知识 鲁棒性提升 细粒度分类 多项选择题

📋 核心要点

  1. 现有方法在多模态知识迁移中依赖配对数据，限制了其灵活性和适用性。
  2. LaViD通过生成多项选择题来提取语言模型的概念知识，从而实现无图像数据的知识蒸馏。
  3. 实验结果显示，LaViD在多个细粒度基准上超越了现有方法，并在某些情况下表现出更强的鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）通过大规模文本预训练获得了广泛的概念知识，但其在其他模态模型中的监督潜力尚未得到充分探索。本文提出了LaViD（语言到视觉知识蒸馏），这是一个简单有效的框架，用于将高层次语义知识从语言教师转移到视觉学生模型。LaViD通过生成多项选择题（MCQs）来引导LLM提取概念信号，而不是依赖配对的多模态数据。这种方法在多个细粒度基准测试中，尽管使用的是没有图像数据的语言教师，仍然超越了最近的视觉-语言模型蒸馏方法，并在与最先进的视觉蒸馏方法结合时取得了更好的效果。

🔬 方法详解

问题定义：本文旨在解决如何有效地将大型语言模型的知识迁移到视觉模型中，现有方法通常依赖于配对的多模态数据，限制了其应用场景和灵活性。

核心思路：LaViD框架的核心思路是通过生成多项选择题（MCQs）来引导语言模型提取概念知识，从而实现无图像数据的知识蒸馏。这种方法能够有效地捕捉语义差异，提供丰富的概念信号。

技术框架：LaViD的整体架构包括两个主要模块：语言教师和视觉学生。语言教师通过生成MCQs来映射每个视觉类别到一个软标签分布，视觉学生则通过辅助蒸馏损失进行训练。

关键创新：LaViD的主要创新在于其无需图像数据的知识蒸馏方式，利用语言模型生成的MCQs作为概念信号，显著提高了知识迁移的效果。与现有方法相比，这种设计使得知识迁移更加灵活和高效。

关键设计：在LaViD中，损失函数设计为辅助蒸馏损失，结合了生成的MCQs和软标签分布。此外，结合对数标准化进一步提升了模型性能，确保了在多个基准测试中的竞争力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaViD在多个细粒度基准测试中表现优异，超越了如MaKD等最新方法，并在与DKD和MLKD等最先进视觉蒸馏方法结合时，进一步提升了性能。在Waterbirds数据集上，LaViD显著改善了最差组的准确性，展示了其在处理虚假相关性方面的增强鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过有效地将语言模型的知识迁移到视觉模型，LaViD可以在图像分类、目标检测等任务中提高模型的性能和鲁棒性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) possess broad conceptual knowledge acquired through large-scale text pretraining, yet their potential to supervise models in other modalities remains underexplored. In this work, we propose LaViD--Language-to-Visual Knowledge Distillation--a simple and effective framework for transferring high-level semantic knowledge from a language-only teacher to a vision-only student model. Instead of relying on paired multimodal data, LaViD elicits conceptual signals from an LLM by prompting it to generate multiple-choice questions (MCQs) that probe semantic distinctions between visual classes. Each class is mapped to a soft label distribution over these MCQs, forming a rich conceptual signature that guides the student through an auxiliary distillation loss. Notably, despite using a language-only teacher without access to image data, LaViD consistently outperforms recent methods like MaKD that distill from vision-language models across multiple fine-grained benchmarks. It also achieves competitive or superior performance compared to state-of-the-art visual distillation methods such as DKD and MLKD, with further gains when combined with logit standardization. On the Waterbirds dataset, LaViD substantially improves worst-group accuracy, demonstrating enhanced robustness to spurious correlations with distillation. Code is available at https://github.com/lliangthomas/lavid.