Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs
作者: Shayan Shahrabi-Farahani, Dara Rahmati
分类: cs.CL, cs.LG
发布日期: 2026-08-19
备注: 21 pages, 6 figures, 11 tables. Code and data released at https://github.com/ShayanShahrabi/compress-and-forget
🔗 代码/项目: GITHUB
💡 一句话要点
研究量化对大语言模型主动干扰的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动干扰 后训练量化 大语言模型 检索准确性 bitsandbytes 量化方法 模型性能
📋 核心要点
- 主动干扰是大语言模型中的一种失效模式，导致检索准确性下降，现有量化方法未能有效解决此问题。
- 本文通过评估不同精度的量化方法，探讨其对主动干扰的影响，提出了基于bitsandbytes的量化策略。
- 实验结果显示，INT4量化在高干扰条件下准确性显著降低，INT8也存在一定的准确性损失，揭示了量化对模型性能的潜在影响。
📝 摘要（中文）
主动干扰（PI）是大语言模型中的一种已知失效模式，表现为重复覆盖的值在检索时的准确性随着先前覆盖的累积而下降，类似于人类工作记忆中的经典现象。尽管后训练量化（PTQ）已成为开放权重模型的默认部署路径，但其对这一失效模式的影响尚未得到验证。本文评估了三种精度水平（FP16、INT8、INT4/NF4），并在三种不同架构的指令调优模型上进行测试，结果表明INT4量化在高干扰下显著降低了准确性，INT8也存在一定的准确性损失。这些结果表明，bitsandbytes的4位量化可能对依赖长、可更新、语义密集上下文的应用施加额外成本。
🔬 方法详解
问题定义：本文旨在探讨后训练量化（PTQ）对大语言模型主动干扰（PI）现象的影响，现有方法未能充分考虑量化对模型检索性能的影响。
核心思路：通过评估不同精度（FP16、INT8、INT4/NF4）的量化方法，分析其在高干扰条件下对模型检索准确性的影响，特别关注INT4量化的效果。
技术框架：研究涉及三种不同架构的指令调优模型，固定检索任务，使用配对McNemar检验和混合效应回归分析不同量化精度下的模型表现。
关键创新：本研究首次揭示了bitsandbytes的4位量化在高干扰条件下对检索准确性的显著影响，尤其是在语义相似的干扰项下，提供了对量化影响的新见解。
关键设计：实验中使用了不同的量化精度设置，特别关注INT4量化对同键干扰错误的影响，发现其在高干扰条件下错误率显著上升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，INT4量化在高干扰条件下导致Qwen模型的准确性从81.0%下降至68.3%，且在同键干扰错误率上升至24.6%。这些结果通过严格的统计检验得到了验证，表明量化对模型性能的影响不容忽视。
🎯 应用场景
该研究的结果对大语言模型在实际应用中的部署具有重要意义，尤其是在需要处理长文本和复杂上下文的任务中。量化方法的选择将直接影响模型的性能，未来可在自然语言处理、对话系统等领域得到广泛应用。
📄 摘要（原文）
Proactive interference (PI) is a documented failure mode in large language models in which retrieval of a repeatedly overwritten value degrades as prior overwrites accumulate, mirroring a classical phenomenon in human working memory. Post-training quantization (PTQ) is now the default deployment path for open-weight models, yet its effect on this failure mode has not been tested. We evaluate three precision levels (FP16, INT8, INT4/NF4, via bitsandbytes) across three architecturally distinct instruction-tuned models (Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3, Phi-3.5-mini-instruct), holding the retrieval task fixed. INT4 quantization significantly reduces accuracy under high interference in every model (e.g., from 81.0% to 68.3% for Qwen), confirmed by paired McNemar's tests ($p \le 2.6 \times 10^{-6}$) and a mixed-effects regression spanning all interference levels; INT8, often assumed safe, also carries a smaller but real penalty in two of three models. The effect is specific to semantically similar (word-type) distractors and reverses sign under a numeric control condition, and is mechanistically linked to a rise in same-key intrusion errors under INT4 (from 21.5% to 24.6% of trials, $p = 4.8 \times 10^{-7}$). A follow-up ablation shows the effect originates in the quantized transformer backbone rather than the output projection layer. These results suggest that bitsandbytes 4-bit quantization can impose an additional cost on applications relying on long, updatable, semantically dense contexts, even when aggregate benchmark accuracy appears largely unaffected. We release our code and tokenizer-verified vocabulary construction method at https://github.com/ShayanShahrabi/compress-and-forget