kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

📄 arXiv: 2607.02072v1 📥 PDF

作者: Mahmoud Abdelfattah, Hamid Nasiri, Peter Garraghan

分类: cs.LG, cs.AI, cs.CR

发布日期: 2026-07-02

备注: 17 pages, 11 figures

💡 一句话要点

提出kNNGuard以解决LLM安全性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性检测 kNN算法 无训练方法 激活空间 快速适应 内容审核

📋 核心要点

  1. 现有的安全防护措施依赖微调，导致泛化能力差和推理延迟高。
  2. kNNGuard通过提取LLM的隐藏激活，利用kNN方法进行分类，避免了训练过程。
  3. 在六个领域中，kNNGuard的F1得分与最先进的防护措施相当，同时速度提升显著。

📝 摘要（中文）

大型语言模型（LLMs）在需要检测不安全、离题或对抗性提示的领域中越来越多地被部署。现有的安全防护措施主要依赖于微调来构建分类器，这往往导致低泛化能力和高推理延迟。本文提出了kNNGuard，这是一种无训练的防护措施，利用现成LLM的激活空间。通过提取隐藏激活并进行多层kNN融合激活空间和嵌入空间得分进行分类，kNNGuard在六个领域的主题和安全提示中实现了与微调的最先进防护措施相当或更优的F1得分，同时运行速度比最佳可比防护措施快2.7倍，比微调的安全分类器快10倍。领域适应仅需更新标记库，构建时间不到10秒，远快于现有防护措施。我们还分析了系统提示、层选择及其在生产LLM管道中的集成，作为可配置的低延迟防护措施。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在安全性检测中的不足，现有方法依赖于微调，导致泛化能力低和推理延迟高。

核心思路：kNNGuard的核心思路是利用现成LLM的隐藏激活进行分类，而不需要额外的训练过程。通过提取激活并进行kNN融合，能够有效识别安全与不安全的提示。

技术框架：kNNGuard的整体架构包括激活提取、kNN融合和分类三个主要模块。首先从LLM中提取隐藏激活，然后通过多层kNN算法融合激活空间和嵌入空间的得分，最后进行分类。

关键创新：kNNGuard的关键创新在于其无训练的设计，利用激活空间进行分类，显著提高了推理速度和适应性，与传统微调方法形成鲜明对比。

关键设计：在设计中，kNNGuard使用了50个安全和不安全提示的标记库，能够在10秒内构建，且不需要梯度更新或微调，极大地提高了适应新领域的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

kNNGuard在六个领域的实验中，F1得分与微调的最先进防护措施相当，同时运行速度比最佳可比防护措施快2.7倍，比微调的安全分类器快10倍，展示了其卓越的性能和效率。

🎯 应用场景

kNNGuard可广泛应用于需要安全性检测的领域，如社交媒体内容审核、在线客服系统及自动化问答系统等。其无训练的特性使得在新领域的快速适应成为可能，具有重要的实际价值和潜在影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in domains requiring guardrails to detect unsafe, off-topic, or adversarial prompts. Existing guardrails predominately rely on fine-tuning to build classifiers, which often suffer from low generalization and high inference latency. We present kNNGuard, a training-free guardrail that utilizes the activation space of an off-the-shelf LLM. Given a small bank of 50 safe and unsafe prompts, kNNGuard extracts hidden activations and performs multi-layer kNN fusing activation-space and embedding-space scores for classification. Across six domains spanning topical and security prompts, kNNGuard achieves competitive or superior F1 compared to fine-tuned state-of-the-art guardrails while running 2.7x faster than the best comparable guardrail, and 10x faster than a fine-tuned safety classifier without gradient updates or fine-tuning. Domain adaptation requires only updating the labeled bank, which can be constructed in under 10 seconds and several orders of magnitude faster than established guardrails. We also analyze the impact of system prompts, layer selection, and integration into production LLM pipelines as a configurable, low-latency guardrail.