Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression
作者: Long Qian, Jiaqi Wei, Bingke Zhu, Yingying Chen, Jinqiao Wang
分类: cs.CV
发布日期: 2026-08-03
备注: 32 pages, 6 figures, 18 tables, including appendix
💡 一句话要点
提出基于消息的压缩方法以解决视觉语言模型的效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 信息压缩 多模态学习 核心集 推理效率 计算成本 消息传递 视觉信息
📋 核心要点
- 现有的视觉语言模型在推理过程中面临高昂的计算成本，传统方法未能有效整合视觉信息的集体特性。
- 本文提出了基于消息的紧凑核心集修剪（GMC），通过选择支持和信息传递来实现高效的视觉压缩。
- 实验表明，GMC-H2在使用80.2%更少的视觉标记的情况下，保留了97.78%的信息能力，显示出显著的性能提升。
📝 摘要（中文）
现代视觉语言模型（VLMs）将高分辨率图像转化为长序列的视觉标记，导致推理成本增加。现有的基于评分的方法为每个标记分配独立的重要性评分并保留Top-K标记，但这种方法未能有效利用视觉信息的集体特性。本文提出了一种新的视觉压缩方法——基于消息的紧凑核心集修剪（GMC），通过构建紧凑的核心集来保留解码器消息，优化了信息的选择和传递。实验结果表明，GMC在多个VLM模型和基准测试中表现优异，显著减少了视觉标记的使用，同时保留了大部分信息能力。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在推理过程中由于高分辨率图像转化为长序列视觉标记而导致的计算成本问题。现有方法通过独立评分选择Top-K标记，但未能有效利用集体信息，导致重要信息的丢失。
核心思路：论文提出通过构建紧凑的核心集来实现视觉压缩，重点在于选择能够覆盖所需信息模式的载体，并在这些载体上实现签名人口消息的传递，从而优化信息的保留与压缩。
技术框架：整体架构包括两个主要模块：选择载体和实现消息传递。首先，GMC通过查询引导、外观和坐标感知的证据共同分配支持；其次，将丢弃的状态传输到选定的代表性位置，确保信息的完整性。
关键创新：GMC的核心创新在于将视觉压缩问题转化为构建紧凑核心集的过程，强调了集体支持和人口实现的协同作用，与传统方法的独立评分机制形成鲜明对比。
关键设计：在设计上，GMC采用了无训练的修剪策略，利用签名消息失真、视觉创新和候选边际稳定性之间的界限进行优化，确保了信息的有效保留与压缩。具体参数设置和损失函数的设计细节在实验中进行了验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GMC-H2在Qwen2.5-VL-7B模型上使用80.2%更少的视觉标记时，仍能保留97.78%的信息能力，而GMC-L16则达到了100.36%的信息保留率。这些结果表明，GMC在视觉压缩方面具有显著的优势，验证了集体支持和人口实现对性能提升的关键作用。
🎯 应用场景
该研究的潜在应用领域包括图像识别、视频分析和多模态学习等，能够有效提高视觉语言模型的推理效率，降低计算资源消耗，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更高效的多模态系统的发展，促进智能视觉应用的普及。
📄 摘要（原文）
Modern vision language models (VLMs) turn high-resolution images into long sequences of visual tokens. Every token traverses the language decoder and persists in its prompt KV cache, inflating inference cost and motivating aggressive visual compression. Existing score-based methods assign each token an independent importance score and retain the Top-K. However, text queries consume collective, signed attention messages from the visual population, not isolated patches. Consequently, equally sized Top-K sets can repeatedly cover one salient region, omit sparse but complementary evidence and discard information carried by the removed population. We therefore formulate faithful visual compression as constructing a compact coreset for decoder messages, and introduce our training-free Grounded Message Coreset Pruning (GMC) which jointly allocates support across query-grounded, appearance, and coordinate-aware evidence, then transports discarded states into selected representatives at their original multimodal positions before physical compaction and native attention resume. This decomposes faithful compression into two coupled components, including selecting carriers that cover the required message modes and realizing the signed population message on those carriers. We further derive bounds connecting their errors to signed-message distortion, visual innovation, and candidate-margin stability. Experiments across multiple VLM families and diverse benchmarks demonstrate strong performance, with GMC-H2 retaining 97.78% Full-relative mean capability on Qwen2.5-VL-7B using 80.2% fewer visual tokens, while GMC-L16 reaches 100.36%. Controlled interventions verify that collective support and population realization jointly drive these gains.