RAS: Measuring LLM Safety Through Refusal Alignment

📄 arXiv: 2606.25750v1 📥 PDF

作者: Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

分类: cs.CR, cs.CL, cs.LG

发布日期: 2026-06-24

💡 一句话要点

提出SafeVec以解决大型语言模型安全评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全评估 拒绝对齐 白盒评估 内部表示分析

📋 核心要点

  1. 现有的安全评估方法依赖于输出结果，成本高且容易受到评判者主观因素的影响。
  2. 论文提出了SafeVec，通过分析模型的内部表示来评估安全性，避免了输出级别评估的缺陷。
  3. 实验表明，RAS能够有效区分不同类型的模型，并且在速度上显著优于传统评估方法。

📝 摘要（中文）

大型语言模型（LLMs）的安全性评估通常通过查询模型并判断其输出是否违反安全政策来进行。尽管这种输出级别的评估有其价值，但其成本高、对评判者选择敏感，并且容易受到固定问题库的限制。本文提出了SafeVec，这是一种白盒评估程序，通过内部表示而非生成的答案来衡量安全性。SafeVec首先从安全对齐的参考模型中提取逐层拒绝方向，然后选择安全和不安全行为可分离的稳定层窗口，最后通过测量目标模型的隐藏状态是否与这些拒绝方向对齐来评分。最终得到的拒绝对齐分数（RAS）将表示级别的拒绝对齐映射到一个经过校准的0-100安全分数。实验结果表明，RAS能够有效区分对齐模型与未审查和被消除的变体，并且在速度上显著优于基于评判者的评估。

🔬 方法详解

问题定义：本文旨在解决大型语言模型安全性评估中存在的高成本和主观性问题。现有方法主要依赖于模型输出，难以提供稳定和一致的评估结果。

核心思路：论文的核心思路是通过分析模型的内部表示来进行安全性评估，利用拒绝方向来判断模型的安全性。这种方法能够提供更为客观和高效的评估方式。

技术框架：SafeVec的整体架构包括三个主要模块：首先，从安全对齐的参考模型中提取逐层拒绝方向；其次，选择稳定的层窗口以分离安全与不安全行为；最后，计算目标模型的隐藏状态与拒绝方向的对齐程度，得出拒绝对齐分数（RAS）。

关键创新：最重要的技术创新在于通过内部表示进行安全评估，而非依赖于模型的输出。这一方法与传统的输出级别评估方法本质上不同，能够提供更为稳定和快速的评估结果。

关键设计：在设计中，关键参数包括选择的层窗口和拒绝方向的提取方式，确保能够有效分离安全与不安全行为。此外，使用的损失函数和网络结构经过精心设计，以优化评估的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAS能够有效区分对齐模型与未审查和被消除的变体，并且在速度上比传统的评判者评估方法快得多。此外，RAS还能够跟踪输出级别的攻击成功率，提供了一个可靠的安全性评估指标。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估、模型开发过程中的安全监控以及对抗性攻击检测等。通过提供一种高效的评估方法，能够帮助研究人员和开发者更好地理解和改进模型的安全性，降低潜在风险。

📄 摘要（原文）

Safety evaluation of large language models (LLMs) is commonly performed by querying models with unsafe or jailbreak prompts and judging whether their outputs violate a safety policy. Although useful, output-level evaluation is expensive, sensitive to judge choice, and easily tied to fixed question banks. We propose SafeVec, a white-box evaluation procedure that measures safety from internal representations rather than generated answers. SafeVec first extracts layer-wise refusal directions from a safety-aligned reference model, then selects stable layer windows where safe and unsafe behaviors are separable, and finally scores a target model by measuring whether its hidden states align with these refusal directions under unsafe and jailbreak prompts. The resulting metric, RAS (Refusal Alignment Score), maps representation-level refusal alignment to a calibrated 0-100 safety score. Across Llama, Gemma, and Qwen model families, RAS separates aligned models from uncensored and abliterated variants, tracks output-level attack success rate, and is substantially faster than judge-based evaluation. These results suggest that refusal alignment provides a compact and efficient signal for white-box LLM safety evaluation.