Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
作者: Zimeng Wu, Qijian Tian, Penghui Du, Changqian Yu, Jiaxin Chen, Yunhong Wang
分类: cs.CV
发布日期: 2026-10-29
💡 一句话要点
提出CATP方法以解决UMMs中多图像合成的效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 统一多模态模型 多图像合成 令牌剪枝 注意力机制 计算效率 图像生成
📋 核心要点
- 现有的令牌剪枝方法主要适用于理解任务，导致在多图像合成中参考图像探索不足和生成质量下降。
- 本文提出CATP方法，通过引导一致剪枝和泰勒校准注意力度量，优化了基于注意力的令牌剪枝过程。
- 实验结果显示，CATP在多个UMM和基准测试中表现优异，最高实现了2.09倍的注意力核心加速。
📝 摘要（中文）
统一多模态模型（UMMs）能够实现强大的多图像合成，但由于长视觉上下文带来了巨大的计算开销。虽然令牌剪枝提供了一种加速推理的直接途径，但现有方法主要适用于理解任务，存在参考图像探索不足、条件引导混淆和池化引起的模糊性等问题，导致生成质量下降。为了解决这些问题，本文提出了CATP，这是一种针对UMM生成的首个无训练上下文压缩方法，旨在校准基于注意力的令牌剪枝的差异，以实现更好的质量与效率平衡。通过在去噪过程中进行独立的层级剪枝，本文引入了引导一致剪枝（GCP）以同步条件分支的剪枝决策，并提出了泰勒校准注意力度量（TCAM），为池化引起的偏差提供理论基础的二阶修正。此外，快速评分算子（FSO）将校准融合到平铺的在线Softmax中，以降低剪枝成本。大量实验表明，CATP在多个UMM和基准测试中始终优于最先进的令牌减少方法，实现了高达2.09倍的注意力核心加速。
🔬 方法详解
问题定义：本文旨在解决在统一多模态模型（UMMs）中多图像合成时，由于长视觉上下文导致的计算开销过大的问题。现有的令牌剪枝方法多适用于理解任务，存在参考图像探索不足、条件引导混淆和池化引起的模糊性等痛点，影响生成质量。
核心思路：CATP方法的核心思路是通过校准基于注意力的令牌剪枝的差异，优化质量与效率的平衡。具体而言，采用引导一致剪枝（GCP）来同步剪枝决策，并引入泰勒校准注意力度量（TCAM）来修正池化引起的偏差。
技术框架：CATP的整体架构包括多个主要模块：首先是独立的层级剪枝过程，其次是引导一致剪枝模块，最后是快速评分算子（FSO），该模块将校准信息融入在线Softmax中，以降低剪枝成本。
关键创新：CATP的主要创新在于引入了引导一致剪枝和泰勒校准注意力度量，这些方法在理论上为剪枝决策提供了更为一致的指导，显著提升了生成质量和效率。与现有方法相比，CATP在处理多图像合成时表现出更优的性能。
关键设计：在设计上，CATP采用了独立层级剪枝的策略，确保每一层的剪枝决策能够相互协调。此外，TCAM的设计基于二阶修正理论，为池化引起的偏差提供了有效的校正机制。快速评分算子则通过优化在线Softmax过程，进一步降低了剪枝的计算成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CATP在多个统一多模态模型和基准测试中均优于现有的令牌减少方法，最高实现了2.09倍的注意力核心加速，显著提升了生成效率和质量。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像生成和多模态学习等。通过提高多图像合成的效率，CATP可以在实时图像处理、虚拟现实和增强现实等场景中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Unified Multimodal Models (UMMs) enable powerful multi-image synthesis but incur substantial computation from long visual contexts. While token pruning offers a direct route to accelerating inference, existing methods are primarily adapted from understanding tasks, suffering from insufficient reference image exploration, confused conditional guidance, and pooling-induced ambiguity that degrades generation quality. To address these issues, we propose CATP, the first training-free context-compression method tailored to UMM generation, which \textbf{C}alibrates the discrepancies of general \textbf{A}ttention-based \textbf{T}oken \textbf{P}runing for better quality-efficiency trade-off. Concretely, building on independent layer-wise pruning during denoising, we introduce Guidance-Consistent Pruning (GCP) to synchronize pruning decisions across conditioning branches, and a Taylor-Calibrated Attention Metric (TCAM) that derives a theoretically grounded second-order correction for pooling-induced bias. In addition, a Fast Scoring Operator (FSO) fuses the calibration into tiled online Softmax to reduce pruning cost. Extensive experiments across representative UMMs and benchmarks demonstrate that CATP consistently outperforms state-of-the-art token-reduction methods, achieving up to 2.09$\times$ attention-core speedup.