Language Models are Homer Simpson! Safety Re-Alignment of Fine-tuned Language Models through Task Arithmetic

📄 arXiv: 2402.11746v1 📥 PDF

作者: Rishabh Bhardwaj, Do Duc Anh, Soujanya Poria

分类: cs.CL, cs.AI

发布日期: 2024-02-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出RESTA方法以解决语言模型安全性再对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 安全性 微调 任务算术 多语言处理 有害内容检测 模型对齐

📋 核心要点

  1. 现有的对齐语言模型在微调过程中常常导致安全性下降，影响模型的可靠性。
  2. RESTA方法通过将安全向量加到模型权重上，实现了对语言模型的安全性再对齐。
  3. 实验结果表明，RESTA显著降低了模型的有害性，同时保持了任务性能，具有良好的通用性。

📝 摘要（中文）

对齐的语言模型面临一个重要限制，即其微调过程常常导致安全性受到损害。为了解决这一问题，本文提出了一种简单的方法RESTA（通过任务算术恢复安全性）。RESTA的核心思想是将一个安全向量简单地加到受损模型的权重上。我们展示了RESTA在参数高效和全微调中的有效性，涵盖了包括中文、英语和印地语的指令跟随以及代码和数学问题解决能力等多种下游任务。此外，我们还展示了RESTA在三个现有安全评估基准和一个包含550个有害问题的多语言基准数据集上的通用性。总体而言，RESTA将受损模型的有害性从18.6%降低到5.1%，在参数高效和全微调中分别降低到1.5%，同时保持了模型在任务上的大部分性能。

🔬 方法详解

问题定义：本文旨在解决对齐语言模型在微调后安全性下降的问题。现有方法在微调过程中往往导致模型输出有害内容，影响其应用的安全性。

核心思路：RESTA方法的核心思路是通过简单的算术操作，将一个预定义的安全向量加到模型的权重中，从而恢复模型的安全性。这种设计旨在在不显著影响模型性能的情况下，增强其安全性。

技术框架：RESTA方法的整体架构包括两个主要阶段：首先是对模型进行初步的微调，然后在此基础上添加安全向量进行再对齐。该方法适用于参数高效和全微调的场景，能够广泛应用于多种下游任务。

关键创新：RESTA的主要创新在于其简单而有效的算术操作，通过添加安全向量来实现安全性再对齐。这一方法与现有的复杂微调策略形成鲜明对比，提供了一种更为直接的解决方案。

关键设计：在RESTA中，安全向量的设计和参数设置至关重要。我们采用了多种损失函数来评估模型的输出，并确保在降低有害性的同时，尽量保持模型在各类任务上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RESTA方法在参数高效微调中将模型的有害性从18.6%降低至5.1%，在全微调中则从9.2%降低至1.5%。这些结果表明RESTA在提升模型安全性方面的显著效果，同时保持了大部分任务性能，展示了其优越的实用性。

🎯 应用场景

RESTA方法具有广泛的应用潜力，尤其是在需要高安全性的自然语言处理任务中，如客服系统、教育平台和社交媒体内容审核等领域。通过提高语言模型的安全性，RESTA能够增强用户信任，降低潜在的法律风险，推动AI技术的健康发展。

📄 摘要（原文）

Aligned language models face a significant limitation as their fine-tuning often results in compromised safety. To tackle this, we propose a simple method RESTA that performs LLM safety realignment. RESTA stands for REstoring Safety through Task Arithmetic. At its core, it involves a simple arithmetic addition of a safety vector to the weights of the compromised model. We demonstrate the effectiveness of RESTA in both parameter-efficient and full fine-tuning, covering a wide range of downstream tasks, including instruction following in Chinese, English, and Hindi, as well as problem-solving capabilities in Code and Math. We also showcase the generalizability of RESTA on three existing safety evaluation benchmarks and a multilingual benchmark dataset proposed as a part of this work, consisting of 550 harmful questions covering 11 categories, each with 5 sub-categories of harm. Overall, RESTA decreases the harmfulness of the compromised model from 18.6% to 5.1% and from 9.2% to 1.5% in parameter-efficient and full fine-tuning, respectively, while maintaining most of the model's performance on the task. We release the source codes at: https://github.com/declare-lab/resta.