SACQ: Structure-Aware Codebook Quantization for Ultra-Low-Bit Vision-Language-Action Models

📄 arXiv: 2610.41408v1 📥 PDF

作者: Haesung Lee, Insu Han

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-10-30

💡 一句话要点

提出SACQ以解决超低比特视觉-语言-动作模型的量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 权重量化 后训练量化 机器人行为 低比特量化

📋 核心要点

  1. 现有的后训练量化方法在超低比特视觉-语言-动作模型中效果不佳，未能有效考虑下游操作的结构。
  2. 提出SACQ框架，通过结构感知的代码本拟合和动作感知的混合比特分配来优化量化过程。
  3. 实验结果显示，SACQ在多个任务上实现了显著的性能提升，成功率高达93.85%，并显著减少了模型内存占用。

📝 摘要（中文）

视觉-语言-动作（VLA）模型能够实现高效的机器人行为，但其庞大的内存占用限制了在资源受限的机器人平台上的部署。权重量化是一种自然的解决方案，但从大型语言模型继承的后训练量化（PTQ）方法在应用于超低精度的VLA时效果不佳。现有的低比特PTQ方法往往未能明确考虑下游操作的结构，并在分配精度时未考虑其对策略动作的影响。本文提出了SACQ，一个针对VLA的超低比特权重向量-代码本量化框架。SACQ结合了结构感知的代码本拟合、基于最终动作误差的角色特定混合比特分配，以及二阶段后量化精细化。使用GR00T N1.7，SACQ在1.5比特的语言/动作权重下实现了93.85%的平均成功率，同时将模型内存减少了4.83倍。

🔬 方法详解

问题定义：本文旨在解决超低比特视觉-语言-动作模型的权重量化问题。现有的后训练量化方法在应用于VLA时，未能有效考虑模型结构和下游任务的影响，导致性能下降。

核心思路：SACQ框架通过结构感知的代码本拟合和动作感知的混合比特分配，优化了量化过程，确保在降低内存占用的同时保持模型性能。

技术框架：SACQ的整体架构包括三个主要模块：结构感知代码本拟合、动作感知混合比特分配和二阶段后量化精细化。首先，通过输入统计和下游敏感性进行代码本拟合；其次，根据最终动作误差进行比特分配；最后，进行二阶段的代码本和行组缩放的校准。

关键创新：SACQ的主要创新在于其结构感知的代码本拟合和动作感知的混合比特分配策略，这与传统的PTQ方法有本质区别，后者通常忽视了模型的结构特性和任务需求。

关键设计：在设计中，SACQ使用了角色特定的二次度量来反映输入统计和下游敏感性，并引入了二阶段的后量化精细化过程，以实现更高的量化精度和模型性能。具体的参数设置和损失函数设计也经过精心调整，以适应不同的任务需求。

🖼️ 关键图片

fig_0

📊 实验亮点

SACQ在GR00T N1.7上实现了93.85%的平均成功率，内存减少4.83倍，同时在INT8激活量化和低精度注意力下，成功率保持在93.55%，运行速度比BF16快1.51倍。SimplER任务中，SACQ在视觉匹配和变体聚合上分别达到了63.76%和52.27%的成功率，优于BF16的58.90%和53.45%。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、以及人机交互等场景。通过优化视觉-语言-动作模型的量化过程，SACQ能够在资源受限的环境中实现高效的机器人行为，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models enable capable robot behavior, but their large memory footprint limits deployment on resource-constrained robotic platforms. Weight quantization is a natural remedy, yet post-training quantization (PTQ) recipes inherited from large language models degrade when applied to VLAs at ultra-low precision. Existing low-bit PTQ methods often fail to explicitly account for the structure of downstream operations and allocate precision without considering its effect on the policy actions. We introduce SACQ, an ultra- low-bit weight-only vector-codebook quantization framework for VLAs. SACQ combines (1) structure-aware codebook fitting with role-specific quadratic metrics that reflect input statistics and downstream sensitivity; (2) action-aware mixed-bit allocation based on the increase in final-action error as individual layers are compressed; and (3) two-stage post-quantization refinement that reassigns codeword indices with second-order error compensation and calibrates codebooks and row-group scales against the decoded action. Using GR00T N1.7, SACQ achieves 93.85% average success across four LIBERO suites at 1.5 bits per language/action weight while reducing model memory by 4.83x. With INT8 activation quantization and low-precision attention, it retains 93.55% success while running 1.51x faster than BF16. On SimplER, SACQ further achieves 63.76% and 52.27% success under Visual Matching and Variant Aggregation at 2 bits per language/action weight, compared to 58.90% and 53.45% for BF16, respectively.