Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?

📄 arXiv: 2403.06833v3 📥 PDF

作者: Egor Zverev, Sahar Abdelnabi, Soroush Tabesh, Mario Fritz, Christoph H. Lampert

分类: cs.LG, cs.CL

发布日期: 2024-03-11 (更新: 2025-01-31)

备注: Published as a conference paper at ICLR 2025, GitHub: https://github.com/egozverev/Shold-It-Be-Executed-Or-Processed. 10 pages main text, 30 pages in total

🔗 代码/项目: GITHUB

💡 一句话要点

提出指令与数据分离度量以解决LLM安全性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令与数据分离 安全性评估 数据集构建 模型评估

📋 核心要点

  1. 当前大型语言模型在指令与数据分离方面存在严重不足，导致其在安全关键任务中的应用受到限制。
  2. 本文提出了一种新的指令-数据分离度量方法，并设计了可从模型输出中计算的经验变体，以评估模型的安全性。
  3. 实验结果显示，所有测试的LLM在指令-数据分离度量上表现不佳，且常见的缓解方法未能有效提升分离度。

📝 摘要（中文）

指令调优的大型语言模型（LLMs）在多个实际应用中表现出色，但缺乏计算机科学其他领域常见的安全特性，尤其是指令与数据的明确分离。这使得它们容易受到间接提示注入等操控，且不适合安全关键任务。当前尚无公认的定义或基准来量化这一现象。本文通过引入指令-数据分离的正式度量和可从模型输出计算的经验变体，填补了这一空白。此外，我们还提出了一个新的数据集SEP，以便对真实模型的度量进行估计。实验结果表明，所有模型在分离度上均未达到高水平，且常规的缓解技术如提示工程和微调，未能显著改善分离度，反而降低了模型效用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在指令与数据分离方面的不足，现有方法缺乏有效的度量标准，导致模型在安全性方面存在隐患。

核心思路：论文提出了一种新的度量标准，用于量化指令与数据的分离程度，并设计了一个经验变体，使得这一度量可以通过模型的输出进行计算。

技术框架：整体架构包括定义指令-数据分离度量、构建SEP数据集以及对多种LLM进行评估的流程。主要模块包括数据集构建、模型评估和结果分析。

关键创新：最重要的创新在于提出了一个系统的度量标准和相应的数据集SEP，填补了当前研究中的空白，并提供了一个可操作的评估框架。

关键设计：在设计中，重点考虑了模型输出的可计算性，确保度量标准能够在实际应用中被有效使用，同时保持了模型的实用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所有测试的LLM在指令-数据分离度量上均未达到高水平，具体表现为分离度普遍低于预期。常见的缓解技术如提示工程和微调未能有效提升分离度，甚至在某些情况下降低了模型的整体效用。

🎯 应用场景

该研究的潜在应用领域包括安全关键的人工智能系统，如医疗、自动驾驶和金融等领域。通过提高指令与数据的分离度，可以增强模型的安全性和可靠性，从而推动这些领域的技术进步和应用落地。

📄 摘要（原文）

Instruction-tuned Large Language Models (LLMs) show impressive results in numerous practical applications, but they lack essential safety features that are common in other areas of computer science, particularly an explicit separation of instructions and data. This makes them vulnerable to manipulations such as indirect prompt injections and generally unsuitable for safety-critical tasks. Surprisingly, there is currently no established definition or benchmark to quantify this phenomenon. In this work, we close this gap by introducing a formal measure for instruction-data separation and an empirical variant that is calculable from a model's outputs. We also present a new dataset, SEP, that allows estimating the measure for real-world models. Our results on various LLMs show that the problem of instruction-data separation is real: all models fail to achieve high separation, and canonical mitigation techniques, such as prompt engineering and fine-tuning, either fail to substantially improve separation or reduce model utility. The source code and SEP dataset are openly accessible at https://github.com/egozverev/Shold-It-Be-Executed-Or-Processed.