Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

📄 arXiv: 2606.24165v1 📥 PDF

作者: Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

分类: cs.CV

发布日期: 2026-06-23

备注: Accepted to ECCV 2026

💡 一句话要点

提出基于跨层谱演变的令牌剪枝以提升多模态大语言模型效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 令牌剪枝 跨层谱演变 计算效率 视觉表示 频域分析 语义抽象

📋 核心要点

  1. 现有的令牌剪枝方法依赖单层信号，忽视了跨层信息，导致位置偏差和性能下降。
  2. 本文提出基于跨层谱演变的剪枝框架，通过频域分析令牌在不同层的演变来评估其重要性。
  3. 实验结果显示，CLSE在多个多模态大语言模型中有效降低了计算量和延迟，同时保持或提升了性能。

📝 摘要（中文）

减少视觉令牌冗余对于加速多模态大语言模型（MLLMs）至关重要，而不影响跨模态推理性能。现有的令牌剪枝方法通常依赖单层信号，如注意力分数或令牌相似性，这忽视了视觉表示的跨层转换，并可能在多模态令牌序列中表现出位置偏差。为了解决这一限制，本文提出了一种基于跨层谱演变（CLSE）的无训练令牌剪枝框架。CLSE通过量化令牌表示在频域中的演变，反映了从高频结构细节到低频语义抽象的过渡。实验表明，CLSE在激进的令牌减少下，能够在效率和准确性之间实现优越的平衡。

🔬 方法详解

问题定义：本文旨在解决现有令牌剪枝方法在多模态大语言模型中因依赖单层信号而导致的冗余和性能下降问题。现有方法未能充分利用跨层信息，可能导致位置偏差。

核心思路：本文提出的CLSE框架通过分析令牌在Transformer各层中的频域演变，量化令牌的重要性。这种方法能够更全面地捕捉令牌的语义变化，避免了单层信号的局限性。

技术框架：CLSE框架主要包括两个阶段：首先，分析令牌在不同Transformer层的频域演变；其次，根据演变结果评估令牌的重要性，进行剪枝。

关键创新：CLSE的核心创新在于其跨层谱演变分析，能够有效捕捉令牌在层间的动态变化，与传统方法相比，提供了更稳定的剪枝标准。

关键设计：在设计中，CLSE采用了频域分析技术，结合了多层次的特征表示，确保了剪枝过程中对重要令牌的保留，同时设置了合理的参数以优化剪枝效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLSE在多个基准测试中显著降低了FLOPs、KV缓存内存和延迟，同时在性能上保持竞争力或有所提升。例如，在激进的令牌减少下，CLSE在准确性和效率之间实现了最佳平衡。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高多模态大语言模型的效率，CLSE能够在实时应用中实现更快的推理速度，降低计算资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reducing visual token redundancy is critical for accelerating Multimodal Large Language Models (MLLMs) without degrading cross-modal reasoning performance. Existing token pruning methods typically rely on single-layer signals, such as attention scores or token similarities, which overlook the cross-layer transformation of visual representations and may exhibit positional bias in multimodal token sequences. To address this limitation, we propose a training-free token pruning framework based on Cross-Layer Spectral Evolution (CLSE). Instead of measuring token importance from single-layer feature magnitudes, CLSE quantifies how token representations evolve across Transformer layers in the frequency domain. This evolution reflects the transition from high-frequency structural details to low-frequency semantic abstractions. We observe that tokens with stronger spectral redistribution across layers are more likely to be semantically active and should therefore be preserved. By modeling cross-layer token dynamics, CLSE provides a stable importance criterion that mitigates positional bias. Extensive experiments on both image and video benchmarks demonstrate that CLSE achieves a superior trade-off between efficiency and accuracy under aggressive token reduction. Across multiple MLLMs, CLSE reduces FLOPs, KV cache memory, and latency while maintaining competitive or improved performance.