Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models

📄 arXiv: 2608.21019v1 📥 PDF

作者: Zhen Yang, Sizai Hou, Kaiwen Zheng, Yaofang Liu, Liang He, Yixuan Chen, Kangning Cui

分类: cs.CL, cs.AI

发布日期: 2026-08-21

备注: 20 pages, 5 figures. Accepted to EMNLP Findings 2026

💡 一句话要点

提出目标感知的校准数据选择以保持量化语言模型的不确定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化模型 不确定性保持 校准数据选择 自然语言处理 深度学习

📋 核心要点

  1. 现有方法主要关注准确性，未能有效处理量化对不确定性行为的影响，导致模型在特定任务中的表现不佳。
  2. 本文提出Doubt-Preserving Quantization（DPQ），通过全精度预测构建目标对齐的校准数据，以保持量化后的不确定性。
  3. 在8个语言模型和9个NLP基准上，DPQ在不同的保留目标下表现优异，尤其在SQuAD2的答案可答性边界保持上取得领先。

📝 摘要（中文）

量化技术广泛应用于大型语言模型的部署，但其对不确定性行为（如置信度、边界和放弃）的影响鲜有研究。本文将量化的校准数据选择框架化为一个目标依赖的不确定性保持问题。不同的部署强调输入分布的不同区域，而现有研究主要优化以准确性为导向的压缩指标或在量化后调整分数。我们引入了Doubt-Preserving Quantization（DPQ），一种轻量级的预量化方案，利用全精度预测构建目标对齐的高疑虑示例和通用锚点的校准混合。实验结果显示，校准数据应根据特定的全精度分数行为进行选择，而非视为固定的量化细节。

🔬 方法详解

问题定义：本文旨在解决量化语言模型时不确定性行为（如置信度和边界）未被充分考虑的问题。现有方法主要优化准确性，忽视了不同部署对输入分布的不同需求。

核心思路：提出Doubt-Preserving Quantization（DPQ），通过利用全精度预测构建目标对齐的校准数据，以有效保持量化后的不确定性。该方法强调根据特定任务需求选择校准数据，而非采用固定方案。

技术框架：DPQ的整体流程包括：首先使用全精度模型生成高疑虑示例和通用锚点，然后构建目标对齐的校准混合，最后进行量化以保持不确定性。

关键创新：DPQ的核心创新在于其目标感知的校准数据选择策略，能够根据具体任务的需求动态调整校准数据，而不是采用单一的固定校准方案。

关键设计：在DPQ中，关键参数包括高疑虑示例的选择标准和校准混合的构建方式。损失函数设计上，强调了不确定性保持的目标，确保量化后的模型在特定任务中的表现得到优化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，DPQ在8个语言模型和9个NLP基准上表现优异，尤其在SQuAD2的答案可答性边界保持上，DPQ-r75方案取得了最佳效果。与其他22种对比方法相比，DPQ在多个选择题的表现上也显示出显著的提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及其他需要量化语言模型的场景。通过保持不确定性，该方法能够提高模型在特定任务中的可靠性和表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Quantization is widely used to deploy large language models, but its effect on uncertainty behavior, such as confidence, margins, and abstention, is rarely treated as a primary objective. We frame calibration-data selection for quantization as a target-dependent uncertainty-preservation problem. Different deployments emphasize different regions of the input distribution, yet prior work mainly optimizes accuracy-oriented compression metrics or adjusts scores after quantization. We formalize this goal with distributional and boundary preservation risks, and provide a simple mixture-mismatch argument explaining why no single calibration recipe should be expected to fit all targets. We introduce Doubt-Preserving Quantization (DPQ), a lightweight pre-quantization recipe family that uses full-precision predictions to construct target-aligned calibration mixtures of high-doubt examples and generic anchors. Across 8 language models, 9 NLP benchmarks, and 22 comparison methods, the leading fixed recipe changes with the preservation target: DPQ-r75 leads on SQuAD2 answerability-boundary preservation, while milder or single-signal variants, including DPQ-r50, confidence-only, and entropy-only, better preserve broad multiple-choice QA behavior. These results show that calibration data should be selected for the specific full-precision score behavior a deployment needs to preserve, rather than treated as a fixed quantization detail.