How Trustworthy are Open-Source LLMs? An Assessment under Malicious Demonstrations Shows their Vulnerabilities

📄 arXiv: 2311.09447v2 📥 PDF

作者: Lingbo Mo, Boshi Wang, Muhao Chen, Huan Sun

分类: cs.CL, cs.AI

发布日期: 2023-11-15 (更新: 2024-04-02)

备注: NAACL 2024

💡 一句话要点

提出advCoU策略以评估开源LLM的可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开源LLM 可信度评估 对抗性攻击 恶意示例 自然语言处理 模型脆弱性 安全对齐

📋 核心要点

  1. 现有开源LLM的可信度评估不足，可能导致在大规模部署时面临重大风险。
  2. 提出advCoU策略，通过恶意示例进行对抗性攻击，评估LLM在多个方面的可信度。
  3. 实验结果显示，性能优越的模型并不总是更可信，且较大的模型更易受攻击。

📝 摘要（中文）

开源大型语言模型（LLMs）的快速发展推动了人工智能的进步，但其可信度仍然有限。本文对开源LLMs进行了对抗性评估，分析了毒性、刻板印象、伦理、幻觉、公平性、阿谀奉承、隐私和对抗性等八个方面的可信度。我们提出了advCoU，一种扩展的基于话语链的提示策略，通过巧妙设计的恶意示例进行可信度攻击。实验结果表明，尽管一些模型在一般NLP任务中表现优异，但它们的可信度并不总是更高，较大的模型可能更容易受到攻击。经过指令调优的模型在遵循指令方面表现良好，但在安全对齐的微调上能有效缓解对抗性攻击。

🔬 方法详解

问题定义：本文旨在解决开源大型语言模型在可信度评估方面的不足，尤其是在面对恶意示例时的脆弱性。现有方法未能全面评估模型在多种潜在风险下的表现。

核心思路：提出advCoU策略，通过引入恶意示例，增强对话链提示的有效性，从而更全面地评估模型的可信度。此设计旨在揭示模型在真实世界应用中的潜在风险。

技术框架：整体架构包括数据收集、恶意示例设计、模型评估和结果分析四个主要模块。首先收集多种开源LLM，然后设计针对性的恶意示例，最后对模型进行评估并分析结果。

关键创新：advCoU策略是本文的核心创新，通过结合恶意示例与对话链提示，显著提高了对模型可信度的评估能力。这一方法与传统评估方法相比，能够更深入地揭示模型的脆弱性。

关键设计：在参数设置上，恶意示例的设计考虑了多种攻击方式，损失函数则侧重于评估模型在不同场景下的表现。网络结构方面，采用了基于对话链的提示机制，以增强模型对恶意输入的反应能力。

📊 实验亮点

实验结果表明，advCoU策略在评估开源LLM的可信度方面表现出色，尤其是在毒性和公平性等方面。与基线模型相比，某些模型的可信度下降幅度达到20%以上，揭示了大模型在对抗性攻击下的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的自然语言处理任务，如自动客服、内容生成和社交媒体监控。通过提高模型的可信度评估能力，可以有效降低在实际应用中可能出现的风险，确保用户数据和信息的安全性。未来，该方法还可以扩展到其他类型的AI模型，推动更广泛的可信度研究。

📄 摘要（原文）

The rapid progress in open-source Large Language Models (LLMs) is significantly driving AI development forward. However, there is still a limited understanding of their trustworthiness. Deploying these models at scale without sufficient trustworthiness can pose significant risks, highlighting the need to uncover these issues promptly. In this work, we conduct an adversarial assessment of open-source LLMs on trustworthiness, scrutinizing them across eight different aspects including toxicity, stereotypes, ethics, hallucination, fairness, sycophancy, privacy, and robustness against adversarial demonstrations. We propose advCoU, an extended Chain of Utterances-based (CoU) prompting strategy by incorporating carefully crafted malicious demonstrations for trustworthiness attack. Our extensive experiments encompass recent and representative series of open-source LLMs, including Vicuna, MPT, Falcon, Mistral, and Llama 2. The empirical outcomes underscore the efficacy of our attack strategy across diverse aspects. More interestingly, our result analysis reveals that models with superior performance in general NLP tasks do not always have greater trustworthiness; in fact, larger models can be more vulnerable to attacks. Additionally, models that have undergone instruction tuning, focusing on instruction following, tend to be more susceptible, although fine-tuning LLMs for safety alignment proves effective in mitigating adversarial trustworthiness attacks.