SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

📄 arXiv: 2607.01876 📥 PDF

作者: Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

分类: cs.CV, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出SAB-LVLM以解决大规模视觉语言模型的二值化挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 二值化 显著性感知 多模态学习 模型压缩 Hessian矩阵 参数优化

📋 核心要点

  1. 现有的二值化方法未能考虑不同层和模态间权重的重要性差异，导致性能下降。
  2. 本文提出显著性感知二值化方法，通过构建Hessian矩阵和显著性图来优化权重。
  3. 实验结果表明，SAB-LVLM在约1位压缩约束下优于现有的二值化PTQ方法。

📝 摘要（中文）

大规模视觉语言模型（LVLMs）在多模态理解方面取得了显著进展，但其庞大的参数规模和跨模态计算导致了显著的内存和延迟开销，限制了在资源受限设备上的实际部署。二值化提供了一种有效的解决方案，通过大幅降低存储和计算成本。然而，现有的二值化方法忽视了不同层和模态间权重的重要性差异，导致与下游任务无关的参数被不必要地保留，而对模态关键的权重可能未得到充分优化，造成性能显著下降。为了解决这些挑战，本文提出了一种新颖的显著性感知二值化方法（SAB-LVLM），通过构建文本和视觉输入的Hessian矩阵，提出空间显著性图来区分在单一模态下激活的全精度权重与跨模态激活的权重，并设计了一种模态引导的集成策略来获得显著性感知二值化图。

🔬 方法详解

问题定义：本文旨在解决大规模视觉语言模型在二值化过程中因忽视权重重要性差异而导致的性能下降问题。现有方法未能有效优化模态关键权重，造成不必要的参数保留。

核心思路：提出显著性感知二值化（SAB-LVLM），通过构建Hessian矩阵和空间显著性图，区分不同模态下的权重重要性，从而优化二值化过程。

技术框架：整体流程包括构建Hessian矩阵、生成空间显著性图、设计模态引导的集成策略以及通过交替显著性加权更新进行二值化拟合。

关键创新：最重要的创新在于引入显著性感知机制，通过显著性图来优化二值化目标，显著提升了模型在资源受限设备上的性能。

关键设计：在损失函数中引入显著性加权项，确保模态关键权重得到充分优化，同时采用交替更新策略以提高二值化效果。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAB-LVLM在约1位压缩约束下，相较于现有的二值化PTQ方法，性能提升显著，具体提升幅度达到X%（具体数据需根据实验结果填写），验证了其有效性和优越性。

🎯 应用场景

该研究在资源受限设备上的多模态应用具有广泛的潜在价值，例如在移动设备上的图像识别、语音助手和智能监控等场景。通过优化大规模视觉语言模型的二值化过程，能够有效提升其在实际应用中的响应速度和效率，推动智能设备的普及与应用。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have achieved remarkable progress in multimodal understanding, yet their enormous parameter scale and cross-modal computation incur substantial memory and latency overhead, severely limiting real-world deployment on resource-constrained devices. Binarization offers an attractive solution by drastically reducing storage and computational costs. However, existing binarization methods neglect the varying importance of weights across different layers and modalities. This causes parameters irrelevant to downstream tasks to be unnecessarily retained, whereas modality-critical weights may not be adequately optimized, resulting in significant performance degradation. To address these challenges, we develop a novel \underline{S}ignificance-\underline{A}ware \underline{B}inarization for \underline{L}arge \underline{V}ision-\underline{L}anguage \underline{M}odels (SAB-LVLM). Specifically, after constructing Hessian matrices for textual and visual inputs, we propose a spatial significance map to distinguish full-precision weights activated under a single modality from those activated across modalities. We then devise a modality-guided integration strategy to obtain the significance-aware binarization map, which measures weight significance across layers and modalities. Subsequently, this binarization map is incorporated into the binarization objective as an error reweighting term, and binarization fitting is performed through an alternating significance-weighted update scheme. Extensive experiments illustrate the superiority of our SAB-LVLM over existing binary PTQ methods under an approximately 1-bit compression constraint. Our code is accessible atthis https URL.