Token-Budget Distillation: Transferring Full-Token Semantics to Compressed Video Vision-Language Models

📄 arXiv: 2608.28138v1 📥 PDF

作者: Xiaoyang Guo, Guoping Luo, Jusheng Zhang, Keze Wang, Wenhao Wang

分类: cs.CV

发布日期: 2026-08-28

备注: ACM MM 2026

💡 一句话要点

提出Token-Budget Distillation以解决视频VLM适应性高成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频理解 视觉语言模型 蒸馏训练 多模态学习 参数高效

📋 核心要点

  1. 现有视频VLM适应方法计算成本高，直接在压缩输入上进行适应会导致语义漂移和性能下降。
  2. 提出Token-Budget Distillation框架，通过冻结主干网络和更新LoRA适配器，在固定标记预算下进行高效微调。
  3. 在多个视频理解基准上评估TBD，结果显示在压缩情况下性能优于仅压缩的基线，保持高准确率。

📝 摘要（中文）

视频视觉语言模型（VLMs）的适应性计算成本高，因为视频输入会产生大量视觉标记，导致微调和推理成本增加。虽然视觉标记压缩可以减少这种开销，但在压缩输入上直接适应常常导致语义漂移和显著的性能下降。本文提出了Token-Budget Distillation（TBD），一种在固定标记预算下适应视频VLM的参数高效微调框架。TBD冻结预训练的主干网络，仅更新LoRA适配器，并将基于FlashVID的视觉标记压缩集成到视频路径中。为在压缩下保留全标记语义，TBD采用双路径教师-学生设计，其中全标记教师提供稳定的监督，压缩学生通过任务损失、答案区域KL蒸馏、GT锚定边际蒸馏和可靠性感知KD控制进行优化。该设计使学生能够在激进的标记减少下恢复全标记模型的语义行为，同时保持高效。

🔬 方法详解

问题定义：本文旨在解决视频视觉语言模型在适应过程中由于输入标记数量庞大而导致的高计算成本问题。现有方法在压缩输入时常常出现语义漂移和性能下降的现象。

核心思路：提出Token-Budget Distillation（TBD）框架，通过冻结预训练的主干网络，仅更新LoRA适配器，并结合视觉标记压缩技术，以在固定的标记预算下高效适应视频VLM。

技术框架：TBD采用双路径教师-学生设计，教师模型使用全标记进行稳定监督，学生模型在压缩输入下进行优化。主要模块包括任务损失、答案区域KL蒸馏、GT锚定边际蒸馏和可靠性感知KD控制。

关键创新：TBD的创新在于通过双路径设计有效保留全标记语义，同时在激进的标记压缩下保持模型性能。这与传统的直接压缩适应方法有本质区别。

关键设计：在损失函数设计上，结合了多种蒸馏策略以增强学生模型的学习效果，确保在压缩情况下仍能恢复全标记模型的语义行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TBD在多个视频VLM基准上表现优异。在LLaVA-Video模型中，保留了97.0%的原始模型平均准确率；在LLaVA-OneVision模型中，达到58.4的平均分，并保持100.0%的相对准确率，显著优于仅压缩的基线方法。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频分析、智能监控和多媒体检索等领域。通过提高视频VLM的适应效率，能够在资源受限的环境中实现更高效的多模态理解，推动相关技术的发展。

📄 摘要（原文）

Adapting video vision-language models (VLMs) is computationally expensive because video inputs produce a large number of visual tokens, making both fine-tuning and inference costly. Although visual token compression can reduce this overhead, direct adaptation on compressed inputs often causes semantic drift and noticeable performance degradation. We present Token-Budget Distillation (TBD), a parameter-efficient fine-tuning framework for adapting video VLMs under a fixed token budget. TBD freezes the pretrained backbone, updates only LoRA adapters, and integrates FlashVID-based visual token compression into the video pathway. To preserve full-token semantics under compression, TBD employs a dual-path teacher-student design, where a full-token teacher provides stable supervision and a compressed student is optimized with task loss, answer-region KL distillation, GT-anchored margin distillation, and reliability-aware KD control. This design enables the student to recover the semantic behavior of the full-token model while remaining efficient under aggressive token reduction. We evaluate TBD on three video VLM backbones, including LLaVA-Video, LLaVA-OneVision, and Qwen3-VL-8B-Instruct, across four video understanding benchmarks. TBD consistently outperforms compression-only baselines under both moderate and aggressive compression. On LLaVA-Video at retention ratio R = 10 percent, TBD preserves 97.0 percent of the Vanilla model's average accuracy; on LLaVA-OneVision at R = 10 percent, it achieves an average score of 58.4 and matches 100.0 percent relative accuracy.