SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

📄 arXiv: 2607.01876v1 📥 PDF

作者: Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

分类: cs.CV, cs.AI

发布日期: 2026-07-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出SAB-LVLM以解决大规模视觉语言模型的二值化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 二值化 显著性感知 多模态学习 模型压缩 深度学习

📋 核心要点

  1. 现有的二值化方法未能考虑不同层和模态间权重的重要性，导致性能下降。
  2. 本文提出显著性感知二值化，通过构建海森矩阵和空间显著性图来优化权重。
  3. 实验结果表明，SAB-LVLM在约1位压缩约束下优于现有的二值化PTQ方法。

📝 摘要（中文）

大规模视觉语言模型（LVLMs）在多模态理解方面取得了显著进展，但其庞大的参数规模和跨模态计算导致了巨大的内存和延迟开销，限制了在资源受限设备上的实际部署。二值化提供了一种通过显著降低存储和计算成本的解决方案。然而，现有的二值化方法忽视了不同层和模态间权重的重要性差异，导致与下游任务无关的参数被不必要地保留，而关键模态权重可能未得到充分优化，从而显著降低性能。为了解决这些挑战，本文提出了一种新颖的显著性感知二值化方法（SAB-LVLM）。

🔬 方法详解

问题定义：本文旨在解决大规模视觉语言模型在二值化过程中忽视权重重要性的问题。现有方法未能有效优化关键模态权重，导致性能显著下降。

核心思路：提出显著性感知二值化（SAB-LVLM），通过构建海森矩阵和空间显著性图来识别不同模态下的全精度权重，从而优化二值化过程。

技术框架：整体架构包括构建海森矩阵、生成空间显著性图、设计模态引导的集成策略以及交替显著性加权更新方案。主要模块包括显著性图生成和二值化目标整合。

关键创新：最重要的创新在于引入显著性感知机制，通过对权重重要性的动态评估，优化了二值化过程，与现有方法相比，显著提高了模型性能。

关键设计：关键设计包括显著性图的生成策略、损失函数的调整以及交替更新的具体实现，确保了在压缩过程中保留重要的模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAB-LVLM在约1位压缩约束下，相较于现有的二值化PTQ方法，性能提升显著，具体提升幅度未知，表明其在多模态理解任务中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的智能视觉系统、边缘计算环境中的实时图像处理以及资源受限设备上的多模态任务。通过降低内存和计算开销，SAB-LVLM能够推动大规模视觉语言模型在实际应用中的广泛部署，提升用户体验。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have achieved remarkable progress in multimodal understanding, yet their enormous parameter scale and cross-modal computation incur substantial memory and latency overhead, severely limiting real-world deployment on resource-constrained devices. Binarization offers an attractive solution by drastically reducing storage and computational costs. However, existing binarization methods neglect the varying importance of weights across different layers and modalities. This causes parameters irrelevant to downstream tasks to be unnecessarily retained, whereas modality-critical weights may not be adequately optimized, resulting in significant performance degradation. To address these challenges, we develop a novel \underline{S}ignificance-\underline{A}ware \underline{B}inarization for \underline{L}arge \underline{V}ision-\underline{L}anguage \underline{M}odels (SAB-LVLM). Specifically, after constructing Hessian matrices for textual and visual inputs, we propose a spatial significance map to distinguish full-precision weights activated under a single modality from those activated across modalities. We then devise a modality-guided integration strategy to obtain the significance-aware binarization map, which measures weight significance across layers and modalities. Subsequently, this binarization map is incorporated into the binarization objective as an error reweighting term, and binarization fitting is performed through an alternating significance-weighted update scheme. Extensive experiments illustrate the superiority of our SAB-LVLM over existing binary PTQ methods under an approximately 1-bit compression constraint. Our code is accessible at https://github.com/LyuQi127/SAB_LVLM.