QuantWAMs: Calibrating at the Right Granularity for World Action Models
作者: Jiacheng Zhou, Jinfan Lv, Ruixuan Li, Longtai Zhang, Yan Wang, Wenqiang Zhang, Lizhe Qi
分类: cs.AI, cs.LG
发布日期: 2026-07-30
备注: 13 pages, 6 figures
💡 一句话要点
提出QuantWAMs框架以优化世界动作模型的量化过程
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 后训练量化 机器人操作 视频理解 多模态交互
📋 核心要点
- 现有的后训练量化方法不适合世界动作模型，主要因为它们依赖于开放环目标和不适当的校准分布。
- 本文提出的QuantWAMs框架通过共享基础异常值校准和共同训练目标显著性等策略，优化了量化决策的过程。
- 实验结果显示，QuantWAMs在多个任务中实现了与FP16相比0.2-0.7个百分点的精度差异，并在内存和速度上有显著提升。
📝 摘要（中文）
世界动作模型（WAMs）共同预测未来观察和动作，但其迭代去噪和闭环执行使得高效部署成本高昂。现有的后训练量化（PTQ）方法不适用于WAMs，因为它们依赖于开放环目标、同质模型假设以及不反映部署的校准分布。本文提出QuantWAMs，一个PTQ框架，通过模型结构、展开分布和任务目标定义的校准上下文来对齐量化决策。QuantWAMs引入了三种策略：共享基础异常值校准、共同训练目标显著性和固定干预展开审计。我们在多个平台上评估了QuantWAMs，结果表明在W4A4主导设置下，模拟均值与FP16的差异为0.2-0.7个百分点，实际机器人试验进一步验证了在三项操作任务上的部署可行性。
🔬 方法详解
问题定义：本文旨在解决现有后训练量化方法在世界动作模型中的适用性问题，现有方法在开放环目标和校准分布上的局限性导致部署效率低下。
核心思路：QuantWAMs框架通过考虑模型结构、展开分布和任务目标的校准上下文，优化量化决策，使其更符合实际应用需求。
技术框架：QuantWAMs的整体架构包括三个主要模块：共享基础异常值校准、共同训练目标显著性和固定干预展开审计，这些模块协同工作以提高量化精度和效率。
关键创新：QuantWAMs的创新点在于其量化决策与校准上下文的对齐，尤其是共享基础异常值校准和共同训练目标显著性，这与传统方法的开放环假设形成了鲜明对比。
关键设计：在设计中，QuantWAMs使用了基于经验Fisher分数的权重精度分配，并在校准稳定层级上进行量化，确保在不改变精度预算的情况下优化去噪步骤的保护计划。
🖼️ 关键图片
📊 实验亮点
在多个实验中，QuantWAMs在W4A4主导设置下与FP16的精度差异仅为0.2-0.7个百分点，且在内存使用上减少至FP16的约29%，实现了1.4-1.6倍的块级速度提升，展示了其在实际操作任务中的有效性。
🎯 应用场景
QuantWAMs框架在机器人操作、视频理解和多模态交互等领域具有广泛的应用潜力。通过优化量化过程，该方法能够在资源受限的环境中实现高效的模型部署，推动智能机器人和自动化系统的发展。
📄 摘要（原文）
World Action Models (WAMs) jointly predict future observations and actions, but their iterative denoising and closed-loop execution make efficient deployment costly. Existing post-training quantization (PTQ) methods are poorly suited to WAMs because they rely on open-loop objectives, homogeneous model assumptions, and calibration distributions that do not reflect deployment. We present QuantWAMs, a PTQ framework that aligns quantization decisions with the calibration context defined by model structure, rollout distribution, and task objective. QuantWAMs introduces three strategies: shared-basis outlier calibration, which pools activation evidence only across coordinate-compatible modules; co-training-objective saliency, which computes empirical-Fisher scores from the joint video--action gradient and assigns weight precision at a calibration-stable layer granularity; and fixed-intervention rollout auditing, which revises denoising-step protection schedules using reachable closed-loop states without changing the precision budget. We evaluate QuantWAMs on Fast-WAM and LingBot-VA across RoboTwin 2.0, LIBERO, and real-robot manipulation with an AgiBot G2. Under a W4A4-dominant setting, the reported simulation means differ from FP16 by 0.2--0.7 percentage points. Real-robot trials further establish deployment feasibility on three manipulation tasks. For the targeted video and action blocks, QuantWAMs reduces peak weight-and-activation memory to about 29\% of FP16 and provides 1.4--1.6$\times$ block-level speedups.