Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization

📄 arXiv: 2607.00908v1 📥 PDF

作者: Fei Wang, Chao Xue, Taoran Liu, Li Shen, Ye Liu, ChangXing Ding

分类: cs.LG

发布日期: 2026-07-01

💡 一句话要点

提出TASA框架以解决任务感知LLM量化中的对齐与多样性权衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合精度量化 任务感知 敏感性分析 模型优化 自然语言处理

📋 核心要点

  1. 现有方法在量化过程中未能有效平衡任务感知与模型性能，导致性能下降。
  2. 论文提出TASA框架，通过优化校准数据组成和位分配，提升量化模型的任务适应性。
  3. 实验结果表明，3.5位模型在多个任务上超越了4位基线，尤其在GSM8K数据集上提升超过20个百分点。

📝 摘要（中文）

混合精度量化（MPQ）已成为在严格内存和计算约束下部署大型语言模型的关键技术。我们首先识别出一种现象，称为困惑度幻觉：根据困惑度敏感性排名的重要层与对复杂推理性能影响最大的层之间几乎没有排名相关性。我们进一步揭示了对齐-多样性权衡：仅使用目标任务校准数据可能会降低后量化性能，而结合通用领域数据则能稳定敏感性估计并提高任务间的鲁棒性。基于这些观察，我们提出了TASA（任务感知敏感性分析），一个联合优化校准数据组成和混合精度位分配的两级框架。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在量化大型语言模型时有效平衡任务感知与模型性能。现有方法通常依赖于困惑度敏感性进行层级重要性评估，但未能考虑复杂推理性能的影响，导致量化后性能下降。

核心思路：论文的核心解决思路是提出TASA框架，通过联合优化校准数据的组成和混合精度位分配，来提升模型在特定任务上的表现。该框架利用训练无关的梯度跟踪对齐标准来搜索校准数据混合，并结合困惑度与推理导向的敏感性信号进行位分配。

技术框架：TASA框架分为两个主要模块：第一，使用训练无关的梯度跟踪方法优化校准数据的组成；第二，基于敏感性信号进行层间和层内的位分配。这种两级优化策略确保了模型在量化后的性能稳定性和鲁棒性。

关键创新：最重要的技术创新点在于提出了对齐-多样性权衡的概念，强调了校准数据组成对任务敏感量化的重要性。这一观点与传统方法的单一依赖困惑度评估形成了鲜明对比。

关键设计：在关键设计上，TASA框架采用了训练无关的梯度跟踪对齐标准，确保了校准数据的多样性，并通过聚合困惑度和推理导向的敏感性信号来指导位分配，优化了模型的量化精度。具体的参数设置和损失函数设计在实验中经过多次验证，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TASA框架下的3.5位模型在多个任务上表现优异，尤其在GSM8K数据集上，LLaMA-3-8B模型的表现比最强的W3基线提升超过20个百分点。这一结果表明，任务感知的量化策略显著提升了模型的整体准确性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和其他需要高效模型部署的场景。通过优化量化过程，TASA框架能够在资源受限的环境中提供更高的模型性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mixed-precision quantization (MPQ) has become a key technique for deploying large language models under stringent memory and compute constraints. We first identify a phenomenon that we term the Perplexity Illusion: layers ranked as important by perplexity-based sensitivity show little rank correlation with those that are most influential for complex reasoning performance, with Kendall $τ\approx 0$ in our analysis. We further reveal an Alignment-Diversity Tradeoff: using only target-task calibration data can degrade post-quantization performance, whereas incorporating general-domain data stabilizes sensitivity estimation and improves robustness across tasks. Based on these observations, we propose TASA (Task-Aware Sensitivity Analysis), a two-level framework that jointly optimizes calibration-data composition and mixed-precision bit allocation. Specifically, TASA searches for a calibration-data mixture using a training-free gradient-trace alignment criterion, and then aggregates perplexity and reasoning-oriented sensitivity signals to guide both inter-layer and intra-layer bit allocation. Experiments on LLaMA-3-8B and Qwen2.5-7B reveal a precision inversion: appropriately allocated 3.5-bit models can match or surpass less task-aware 4-bit baselines. At an average precision of 3.5 bits, TASA matches or outperforms several competitive 4-bit uniform baselines in aggregate accuracy, and improves over the strongest W3 baseline on GSM8K by more than 20 absolute points on LLaMA-3-8B. These results show that calibration-data composition substantially affects task-sensitive quantization, a factor underexplored in prior work.