Fake Alignment: Are LLMs Really Aligned Well?

📄 arXiv: 2311.05915v3 📥 PDF

作者: Yixu Wang, Yan Teng, Kexin Huang, Chengqi Lyu, Songyang Zhang, Wenwei Zhang, Xingjun Ma, Yu-Gang Jiang, Yu Qiao, Yingchun Wang

分类: cs.CL, cs.AI

发布日期: 2023-11-10 (更新: 2024-04-01)

备注: Accepted to the NAACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Fake Alignment框架以解决LLMs安全性评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性评估 假对齐 一致性评分 微调技术

📋 核心要点

  1. 现有的LLMs在多项选择题与开放式问题的性能存在显著差异，反映出其安全性评估的不足。
  2. 论文提出了假对齐（Fake Alignment）概念，并构建了FINE框架，通过一致性评分和一致安全评分来评估LLMs的安全性。
  3. 实验结果表明，14个LLMs中存在多模型在安全性方面表现不佳，同时多项选择数据可用于有效的微调，提升模型一致性。

📝 摘要（中文）

随着对大型语言模型（LLMs）安全性关注的增加，评估其安全性的研究逐渐受到重视。本研究探讨了LLMs评估中的一个未被充分研究的问题，即多项选择题与开放式问题之间的性能差异。我们认为这种差异源于不匹配的泛化，即LLMs仅记住开放式安全问题的回答方式，导致其无法解决其他形式的安全测试。我们称这一现象为假对齐，并构建了比较基准以实证验证其在LLMs中的存在。我们引入了假对齐评估（FINE）框架和两个新颖的指标——一致性评分（CS）和一致安全评分（CSS），共同评估两种互补的评估形式，以量化假对齐并获得修正的性能估计。对14个广泛使用的LLMs应用FINE后，发现一些声称安全的模型在实践中表现不佳。我们还发现多项选择格式数据可以作为高质量的对比蒸馏微调数据，显著提高LLMs的一致性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLMs）在安全性评估中存在的假对齐问题，尤其是多项选择题与开放式问题之间的性能差异。现有方法未能有效识别和量化这种差异，导致对模型安全性的误判。

核心思路：论文的核心思路是通过引入假对齐的概念，构建FINE框架，利用一致性评分（CS）和一致安全评分（CSS）来量化LLMs在不同问题格式下的表现差异，从而提供更准确的性能估计。

技术框架：FINE框架包括数据收集、模型评估和结果分析三个主要模块。首先，收集多项选择和开放式问题的数据，然后对14个LLMs进行评估，最后分析模型在不同问题格式下的表现。

关键创新：最重要的技术创新点在于提出了假对齐这一概念，并通过FINE框架和新颖的评估指标（CS和CSS）来量化和验证这一现象，与现有方法相比，提供了更全面的安全性评估视角。

关键设计：在FINE框架中，CS和CSS的计算方法是关键设计，CS用于评估模型在不同问题格式下的一致性，而CSS则专注于安全性表现的稳定性。此外，利用多项选择格式数据进行对比蒸馏微调的策略也显著降低了微调的计算开销。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，应用FINE框架后，多个声称安全的LLMs在实际评估中表现不佳，部分模型的一致性评分低于预期。此外，利用多项选择数据进行微调后，模型的一致性显著提高，提升幅度达到30%以上，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估、模型微调和优化等。通过提供更准确的安全性评估方法，研究成果可以帮助开发更可靠的LLMs，提升其在实际应用中的安全性和一致性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The growing awareness of safety concerns in large language models (LLMs) has sparked considerable interest in the evaluation of safety. This study investigates an under-explored issue about the evaluation of LLMs, namely the substantial discrepancy in performance between multiple-choice questions and open-ended questions. Inspired by research on jailbreak attack patterns, we argue this is caused by mismatched generalization. That is, LLM only remembers the answer style for open-ended safety questions, which makes it unable to solve other forms of safety tests. We refer to this phenomenon as fake alignment and construct a comparative benchmark to empirically verify its existence in LLMs. We introduce a Fake alIgNment Evaluation (FINE) framework and two novel metrics--Consistency Score (CS) and Consistent Safety Score (CSS), which jointly assess two complementary forms of evaluation to quantify fake alignment and obtain corrected performance estimation. Applying FINE to 14 widely-used LLMs reveals several models with purported safety are poorly aligned in practice. Subsequently, we found that multiple-choice format data can also be used as high-quality contrast distillation-based fine-tuning data, which can strongly improve the alignment consistency of LLMs with minimal fine-tuning overhead. For data and code, see https://github.com/AIFlames/Fake-Alignment.