LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes

📄 arXiv: 2608.06795v1 📥 PDF

作者: Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-08-07

💡 一句话要点

提出LoRAScan以检测低秩适配器中的后门提示

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 适配器 低秩适配 安全性 大型语言模型 防御机制 激活监测

📋 核心要点

  1. 现有方法未能有效检测和防御后门适配器，导致潜在的安全隐患。
  2. LoRAScan通过监测LoRA下投影激活的稳定插入点，识别并拒绝触发输入，确保模型安全。
  3. LoRAScan在标准LLM后门基准测试中拒绝约98.49%的恶意输入，且在干净输入上错误率极低，表现优于现有方法。

📝 摘要（中文）

低秩适配（LoRA）通过紧凑的适配器实现大型语言模型的高效专业化和分布。然而，不可信的适配器引入了供应链威胁：后门适配器可能导致模型生成有害内容、恶意代码或政治宣传。现有的适配器无关防御方法通过将适配器与基础模型合并来稀释后门信号，降低了检测性能。本文提出LoRAScan，这是首个适配器感知防御方法，能够在推理时检测和拒绝触发输入，而无需修改适配器参数。LoRAScan通过监测LoRA下投影激活的低方差插入点，成功拒绝约98.49%的恶意输入，同时在干净输入上保持较小的错误率，超越了现有防御方法。

🔬 方法详解

问题定义：本文旨在解决后门适配器在大型语言模型中的安全隐患，现有方法未能有效检测后门信号，导致模型可能生成有害内容。

核心思路：LoRAScan的核心思路是识别在干净输入和触发输入之间存在显著差异的LoRA下投影激活的插入点，从而在推理时拒绝潜在的恶意输入。

技术框架：LoRAScan的整体架构包括两个主要阶段：首先，识别稳定的低方差插入点；其次，在推理过程中监测这些插入点的激活情况，以检测触发输入。

关键创新：LoRAScan的关键创新在于其适配器感知的防御机制，能够在不修改适配器参数的情况下，实时监测和拒绝恶意输入，这与现有方法的防御策略截然不同。

关键设计：在设计中，LoRAScan关注于选择约5%的稳定插入点，并通过监测其激活的集中性来判断输入的安全性，确保在高效性与安全性之间取得平衡。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

LoRAScan在标准LLM后门基准测试中表现出色，成功拒绝约98.49%的恶意输入，同时在干净输入上保持较低的错误率，显著优于现有的防御方法，展示了其在安全性和准确性上的优势。

🎯 应用场景

LoRAScan的研究成果具有广泛的应用潜力，尤其在需要确保模型安全性的场景中，如金融、医疗和社交媒体等领域。通过有效检测后门适配器，LoRAScan能够保护用户免受恶意内容的影响，提升模型的可信度和安全性。

📄 摘要（原文）

Low-rank adaptation (LoRA) enables efficient specialization and distribution of large language models through compact adapters. However, untrusted adapters introduce a supply-chain threat: a backdoored adapter can cause a model to generate harmful content, malicious code, political propaganda, or covert advertisements when an input contains a hidden trigger. Adapter-agnostic defenses merge the adapter with the base model, which dilutes backdoor signals and reduces detection performance. Existing adapter-aware methods do not address how to safely use a potentially backdoored adapter. Instead, they either train a defensive adapter to repair a backdoored base model, addressing the inverse problem rather than securing the adapter itself, or rely on a classifier that flags the entire adapter as suspicious and requires separate mitigation. These methods overlook the distinct latent-space signatures produced by trigger-bearing inputs in backdoored adapters. We introduce LoRAScan, the first adapter-aware defense that detects and rejects trigger-bearing inputs at inference time without modifying adapter parameters. Our key observation is that a small subset of LoRA insertion sites, approximately 5%, remains stable across clean inputs but exhibits highly concentrated spikes in LoRA down-projection activations when a trigger is present. LoRAScan identifies these low-variance insertion sites before model deployment and monitors them during inference. Across standard LLM backdoor benchmarks, LoRAScan rejects approximately 98.49 of malicious inputs with a small error rate on clean inputs, outperforming existing defenses across diverse evaluation settings.