kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

📄 arXiv: 2607.02072 📥 PDF

作者: Mahmoud Abdelfattah, Hamid Nasiri, Peter Garraghan

分类: cs.LG, cs.AI, cs.CR

发布日期: 2026-07-05

💡 一句话要点

提出kNNGuard以解决LLM安全性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性检测 无训练方法 kNN算法 激活空间 内容审核 快速适应

📋 核心要点

  1. 现有的安全防护措施主要依赖微调，导致低泛化能力和高推理延迟，难以适应快速变化的提示环境。
  2. kNNGuard通过利用LLM的隐藏激活，采用无训练的方式进行分类，结合激活空间和嵌入空间的多层kNN融合。
  3. 在六个不同领域的实验中，kNNGuard在F1得分上表现优越，且推理速度显著提升，展示了其高效性和适应性。

📝 摘要（中文）

大型语言模型（LLMs）在需要检测不安全、偏题或对抗性提示的领域中越来越多地被部署。现有的安全防护措施主要依赖于微调来构建分类器，这通常面临低泛化能力和高推理延迟的问题。本文提出了kNNGuard，这是一种无训练的防护措施，利用现成LLM的激活空间。kNNGuard通过提取隐藏激活并进行多层kNN融合激活空间和嵌入空间得分进行分类。在六个领域的实验中，kNNGuard在F1得分上与微调的最先进防护措施相比表现出竞争力或优越性，同时运行速度比最佳可比防护措施快2.7倍，比微调的安全分类器快10倍。领域适应仅需更新标记库，构建时间少于10秒，远快于现有防护措施。我们还分析了系统提示、层选择及其在生产LLM管道中的集成，作为可配置的低延迟防护措施。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在安全性检测中的不足，现有方法依赖微调，导致泛化能力差和推理延迟高。

核心思路：kNNGuard的核心思路是利用现成LLM的隐藏激活进行分类，避免了传统方法的训练过程，从而提高了效率和适应性。

技术框架：kNNGuard的整体架构包括激活提取、kNN融合和分类三个主要模块。首先从LLM中提取隐藏激活，然后通过多层kNN算法融合激活空间和嵌入空间的得分，最后进行分类。

关键创新：kNNGuard的主要创新在于其无训练的设计，利用激活空间进行分类，与传统依赖微调的防护措施本质上不同，显著提高了速度和灵活性。

关键设计：在设计中，kNNGuard使用了50个安全和不安全提示的标记库，更新速度快，且在层选择和系统提示的集成方面具有高度的可配置性。通过这些设计，kNNGuard能够在不同领域快速适应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

kNNGuard在六个领域的实验中，F1得分与微调的最先进防护措施相比表现优越，同时推理速度比最佳可比防护措施快2.7倍，比微调的安全分类器快10倍，展示了其高效性和实用性。

🎯 应用场景

kNNGuard的潜在应用领域包括社交媒体内容监控、在线客服系统和自动化内容审核等。其高效的安全性检测能力能够帮助企业快速识别和处理不安全内容，提升用户体验和安全性。未来，kNNGuard可能在更广泛的自然语言处理任务中发挥重要作用，推动LLM的安全应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in domains requiring guardrails to detect unsafe, off-topic, or adversarial prompts. Existing guardrails predominately rely on fine-tuning to build classifiers, which often suffer from low generalization and high inference latency. We present kNNGuard, a training-free guardrail that utilizes the activation space of an off-the-shelf LLM. Given a small bank of 50 safe and unsafe prompts, kNNGuard extracts hidden activations and performs multi-layer kNN fusing activation-space and embedding-space scores for classification. Across six domains spanning topical and security prompts, kNNGuard achieves competitive or superior F1 compared to fine-tuned state-of-the-art guardrails while running 2.7x faster than the best comparable guardrail, and 10x faster than a fine-tuned safety classifier without gradient updates or fine-tuning. Domain adaptation requires only updating the labeled bank, which can be constructed in under 10 seconds and several orders of magnitude faster than established guardrails. We also analyze the impact of system prompts, layer selection, and integration into production LLM pipelines as a configurable, low-latency guardrail.