LoopQ: Fair, Closed-Loop Evaluation of Quantized Vision-Language-Action Models

📄 arXiv: 2611.05093v1 📥 PDF

作者: Syed Umer Bukhari, Magnus Almgren, Ahmed Ali-Eldin

分类: cs.RO

发布日期: 2026-11-03

💡 一句话要点

提出LoopQ以实现量化视觉-语言-动作模型的公平闭环评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化模型 视觉-语言-动作 后训练量化 闭环评估 性能比较 深度学习 智能应用

📋 核心要点

  1. 现有的VLA量化方法在性能比较上存在困难，难以评估新方法相对于已有方法的优势。
  2. 本文提出LoopQ，通过闭环基准测试，比较多种量化策略的性能，确保公平性和一致性。
  3. 实验结果表明，尽管量化能节省内存，但VLA特定的PTQ方法在性能上不如简单的通用基线，且速度表现不佳。

📝 摘要（中文）

后训练量化（PTQ）为视觉-语言-动作（VLA）模型提供了更小、更快的部署方案。然而，现有的VLA量化方法在性能分析上存在困难。本文提出LoopQ，一个闭环基准，比较不同量化策略在相同检查点、层和引擎上的表现，仅改变方法和内核。我们在四个VLA上评估了RTN、AWQ、GPTQ、ActQuant和QuantVLA，结果显示尽管量化能有效节省内存，但VLA特定的PTQ方法在性能上不及更简单的通用基线。实验还揭示了在不同配置下的速度表现和潜在的损失。

🔬 方法详解

问题定义：本文旨在解决现有VLA量化方法在性能评估上的不确定性，尤其是难以比较不同量化策略的效果。现有方法往往无法清晰展示新方法相较于简单PTQ方法的优势。

核心思路：LoopQ通过构建一个闭环基准，确保在相同条件下比较不同的量化策略，提供公平的评估环境。该方法仅改变量化策略和内核，保持其他条件一致，从而更准确地评估性能。

技术框架：LoopQ的整体架构包括多个模块：首先是量化策略的选择，其次是在相同检查点和层上进行评估，最后是性能数据的收集与分析。实验在NVIDIA H100、L4和Jetson AGX Thor等平台上进行，确保了多样性和广泛性。

关键创新：LoopQ的主要创新在于其闭环评估机制，使得不同量化策略的比较更加公平和一致。这一方法与现有的单一方法评估相比，能够更全面地展示各策略的优缺点。

关键设计：在实验中，采用了多种量化方法（如RTN、AWQ、GPTQ等），并在LIBERO和LIBERO-plus数据集上进行评估。关键参数设置包括量化位数（如4位）和不同的内核配置，确保了实验的全面性和可靠性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，尽管量化能够有效节省内存（低比特模型节省2-3倍），但VLA特定的PTQ方法在性能上普遍低于简单的通用基线。在4位量化下，RTN、AWQ和GPTQ的表现与ActQuant和QuantVLA相当，且在某些情况下超越了它们。速度方面，H100上的量化配置普遍慢于16位模型，只有L4在int8内核下实现了4-14%的速度提升。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶和人机交互等需要高效视觉-语言-动作处理的场景。通过优化量化方法，能够在资源受限的设备上实现更快的模型推理，提升实际应用的响应速度和效率，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Post-training quantization (PTQ) for vision-language-action (VLA) models promises smaller and faster VLA deployments. However, when analyzing existing VLA quantization works, we realised that it is hard to reason about the performance of the suggested quantization method compared to existing, similar, or in many cases, simpler PTQ methods. We present LoopQ, a closed-loop benchmark that compares multiple quantization policies on the same checkpoint, layers and engine, varying only the method and the kernels. We evaluate RTN, AWQ, GPTQ, ActQuant and QuantVLA on four VLAs with more than 180,000 episodes of LIBERO and LIBERO-plus, compare against QVLA's reported results on the same layers, and benchmark whether the four public VLA-quantization releases can be reproduced. We benchmark the methods on an NVIDIA H100, an L4, and a Jetson AGX Thor. Our results show that while quantization reliably saves memory, 2-3x for real low-bit models, VLA-specific PTQ methods underperform compared to simpler generic baselines. At 4 bits, RTN, AWQ and GPTQ match or exceed ActQuant and QuantVLA, plain RTN matches the calibrated methods, and plain AWQ matches the success QVLA reports for itself. Standard LIBERO hides the losses that do exist: configurations with no significant LIBERO loss lose 1.5-4.3 points under paired LIBERO-plus perturbations. Speed is a weaker story. At batch 1 on the H100, no quantized pi0.5 or OpenVLA-OFT configuration is faster than its 16-bit model (1.06-1.58x slower on library kernels); only the L4 with int8 kernels gains (4-14%), the Thor is slower on every 4-bit configuration, and the engine alone changes latency by 2.1x. Profiling explains why: pi0.5's quantized backbone is compute-bound, while its memory-bound action expert, 63% of GPU time and 13% of the parameters, stays in 16 bits.