Configurable Safety Tuning of Language Models with Synthetic Preference Data

📄 arXiv: 2404.00495v1 📥 PDF

作者: Victor Gallego

分类: cs.CL, cs.AI

发布日期: 2024-03-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出可配置安全调优方法以解决语言模型用户控制不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 安全调优 用户控制 合成数据 直接偏好优化 灵活配置 模型推理

📋 核心要点

  1. 现有的语言模型微调方法如DPO，限制了用户对模型行为的灵活控制，难以满足多样化需求。
  2. 本文提出的CST方法利用合成偏好数据，允许用户在推理时灵活配置模型的安全性，增强了用户控制能力。
  3. 实验结果表明，CST能够有效管理多种安全配置，同时保持模型的原有功能，展现出良好的适应性和稳健性。

📝 摘要（中文）

现有的语言模型微调技术，如直接偏好优化（DPO），通过硬编码预定义行为限制了用户的控制能力。为此，本文提出了一种新方法——可配置安全调优（CST），该方法通过合成偏好数据增强DPO，以便在推理时灵活配置大型语言模型（LLMs）的安全性。CST通过引入一个指定安全配置的系统提示，克服了传统DPO的限制，使得LLM的部署者能够根据需求启用或禁用安全偏好，仅需更改系统提示。实验评估表明，CST成功管理不同的安全配置，并保持LLMs的原始功能，显示出其在可配置部署方面的稳健性。

🔬 方法详解

问题定义：现有的直接偏好优化（DPO）方法通过硬编码行为限制了用户对语言模型的控制，导致在实际应用中难以满足不同用户的需求。

核心思路：本文提出的可配置安全调优（CST）方法，通过引入合成偏好数据和系统提示，允许用户在推理时灵活配置模型的安全性，从而增强用户的控制能力。

技术框架：CST的整体架构包括数据生成模块、系统提示模块和模型推理模块。数据生成模块负责生成合成偏好数据，系统提示模块用于定义安全配置，而模型推理模块则执行基于这些配置的推理过程。

关键创新：CST的核心创新在于通过系统提示实现安全配置的动态调整，这一设计使得用户能够根据具体需求灵活启用或禁用安全偏好，区别于传统的静态配置方法。

关键设计：在CST中，系统提示的设计至关重要，需明确指定安全配置的内容。此外，损失函数的设计也需考虑如何平衡模型的安全性与功能性，以确保在不同配置下模型的表现稳定。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CST在管理不同安全配置方面表现优异，能够在保持模型原有功能的同时，灵活调整安全偏好。与传统DPO方法相比，CST在安全性和功能性之间实现了良好的平衡，展现出更高的适应性和稳健性。

🎯 应用场景

该研究的潜在应用场景包括但不限于内容生成、对话系统和自动化客服等领域。通过提供灵活的安全配置，CST能够帮助开发者根据不同的应用场景和用户需求，定制化语言模型的行为，提升用户体验和安全性。未来，该方法可能在多种行业中得到广泛应用，推动智能对话系统的安全性和可靠性。

📄 摘要（原文）

State-of-the-art language model fine-tuning techniques, such as Direct Preference Optimization (DPO), restrict user control by hard-coding predefined behaviors into the model. To address this, we propose a novel method, Configurable Safety Tuning (CST), that augments DPO using synthetic preference data to facilitate flexible safety configuration of LLMs at inference time. CST overcomes the constraints of vanilla DPO by introducing a system prompt specifying safety configurations, enabling LLM deployers to disable/enable safety preferences based on their need, just changing the system prompt. Our experimental evaluations indicate that CST successfully manages different safety configurations and retains the original functionality of LLMs, showing it is a robust method for configurable deployment. Data and models available at https://github.com/vicgalle/configurable-safety-tuning