Online In-Context Distillation for Low-Resource Vision Language Models

📄 arXiv: 2510.18117v1 📥 PDF

作者: Zhiqi Kang, Rahaf Aljundi, Vaggelis Dorovatas, Karteek Alahari

分类: cs.CV

发布日期: 2025-10-20

💡 一句话要点

提出在线上下文蒸馏方法，提升低资源视觉语言模型性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 上下文学习 知识蒸馏 低资源学习 跨模态学习

📋 核心要点

  1. 现有大型VLM部署成本高，小型VLM需大量微调，难以适应低资源场景。
  2. 提出在线上下文蒸馏(ICD)方法，利用教师模型知识提升小型VLM性能。
  3. 实验表明，ICD方法仅用少量教师标注即可显著提升小型模型性能。

📝 摘要（中文）

本文关注如何在低资源、预算受限的环境中应用视觉语言模型(VLM)。大型VLM性能强大，但部署成本高昂。小型VLM效率高，但需要昂贵的微调才能缩小与大型模型的性能差距。受上下文学习框架的启发，我们提出了一种在线上下文蒸馏(ICD)方法，其中小型VLM在推理时与更强大的教师模型协作，通过稀疏的演示来提取知识，从而有效地弥合两者之间的差距。我们的方法基于深入的分析，确定了视觉语言ICL目前可行的模型规模和选择，并证明了在受限的计算预算下，ICL优于微调。我们通过一种新颖的跨模态演示选择策略、教师测试时缩放以减少噪声以及学生不确定性条件来动态填充演示池并最小化教师查询，从而增强了我们的方法。我们的ICD方法使用稀缺的教师标注（低至4%）显着提高了小型模型的性能（高达33%），并且可以与教师的零样本性能相媲美。

🔬 方法详解

问题定义：论文旨在解决低资源场景下，小型视觉语言模型（VLM）性能不足的问题。现有方法如微调需要大量的标注数据和计算资源，而大型VLM虽然性能强大，但部署成本过高，难以在资源受限的环境中使用。因此，如何在有限的资源下提升小型VLM的性能是一个关键挑战。

核心思路：论文的核心思路是利用上下文学习（In-Context Learning, ICL）的思想，让小型VLM在推理时动态地从一个更强大的教师模型中学习知识。通过构建合适的上下文示例，将教师模型的知识“蒸馏”到学生模型中，从而提升学生模型的性能，同时避免了昂贵的微调过程。

技术框架：整体框架包含一个小型学生VLM和一个大型教师VLM。在推理阶段，首先根据学生模型的不确定性动态地选择一部分样本。然后，利用跨模态演示选择策略，从教师模型中选择与当前样本相关的示例。这些示例与当前样本一起构成上下文，输入到学生模型中进行推理。为了减少教师模型的噪声，采用了教师测试时缩放技术。最后，学生模型利用从教师模型中学习到的知识，进行预测。

关键创新：论文的关键创新在于提出了在线上下文蒸馏（ICD）方法，将上下文学习与知识蒸馏相结合，实现了在低资源场景下提升小型VLM性能的目标。此外，论文还提出了跨模态演示选择策略和教师测试时缩放技术，进一步提高了ICD方法的性能。与传统的微调方法相比，ICD方法只需要少量的教师标注，大大降低了训练成本。

关键设计：跨模态演示选择策略旨在选择与当前样本最相关的示例，以提高上下文学习的效率。教师测试时缩放技术通过调整教师模型的预测概率分布，减少噪声的影响。学生不确定性条件用于动态地选择样本，确保学生模型能够从最需要学习的样本中获取知识。具体的参数设置和网络结构细节在论文中进行了详细描述，但此处未提供具体数值。

📊 实验亮点

实验结果表明，ICD方法在仅使用4%的教师标注的情况下，可以将小型模型的性能提升高达33%，并且可以与教师模型的零样本性能相媲美。这表明ICD方法能够有效地利用教师模型的知识，提升小型模型的性能，同时降低了训练成本。该方法在低资源视觉语言任务中具有显著的优势。

🎯 应用场景

该研究成果可应用于移动设备、嵌入式系统等资源受限的场景，例如智能手机上的图像识别、自动驾驶中的目标检测等。通过在线上下文蒸馏，可以在不增加过多计算负担的情况下，提升小型VLM的性能，使其能够更好地适应各种实际应用需求。未来，该方法有望进一步推广到其他低资源机器学习任务中。

📄 摘要（原文）

As the field continues its push for ever more resources, this work turns the spotlight on a critical question: how can vision-language models (VLMs) be adapted to thrive in low-resource, budget-constrained settings? While large VLMs offer strong performance, they are impractical to deploy in such settings. Small VLMs, on the other hand, are efficient but typically require costly fine-tuning to close the performance gap with larger models in the deployment domain. Inspired by the in-context learning framework, we propose an online In-Context Distillation (ICD) method, in which a small VLM collaborates with a stronger teacher model at inference time, distilling its knowledge via sparse demonstrations to efficiently bridge the gap between them. Our method is built on an in-depth analysis that identifies the scale and the choice of models for which vision-language ICL is currently feasible, and demonstrates the advantage of ICL over fine-tuning under constrained compute budgets. We enhance our method with a novel cross-modal demonstration selection strategy, teacher test-time scaling to reduce noise, and student uncertainty conditioning to dynamically populate a demonstration pool and minimize teacher queries. Our ICD method significantly boosts the performance of small models (up to 33%) using scarce teacher annotations (as low as 4%), and competes with the teacher's zero-shot performance.