Investigating Bias Representations in Llama 2 Chat via Activation Steering

📄 arXiv: 2402.00402v1 📥 PDF

作者: Dawn Lu, Nina Rimsky

分类: cs.CL, cs.AI

发布日期: 2024-02-01

💡 一句话要点

通过激活引导技术探讨Llama 2 Chat中的偏见表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会偏见 激活引导 人类反馈强化学习 偏见缓解 模型评估

📋 核心要点

  1. 当前大型语言模型在决策过程中可能强化社会偏见，尤其是在性别、种族和宗教方面。
  2. 本文提出通过激活引导技术，利用引导向量调整模型输出，以探测和缓解偏见。
  3. 研究发现Llama 2 7B Chat存在固有性别偏见，并且RLHF可能加剧不同偏见形式的相似性。

📝 摘要（中文）

本文针对大型语言模型（LLMs）中的社会偏见问题，聚焦于Llama 2 7B Chat模型。随着LLMs在决策过程中的应用日益广泛，确保这些模型不强化现有偏见显得尤为重要。我们采用激活引导的方法来探测和缓解与性别、种族和宗教相关的偏见。该方法通过操控模型激活，利用来自StereoSet数据集和自定义GPT4生成的性别偏见提示的引导向量，调整模型输出。研究发现，Llama 2 7B Chat中存在固有的性别偏见，即使在经过人类反馈强化学习（RLHF）后仍然存在。此外，我们观察到偏见与模型拒绝响应的倾向之间存在可预测的负相关关系。重要的是，研究揭示RLHF倾向于增加模型对不同形式社会偏见的表征相似性，这引发了对模型对不同偏见形式理解的质疑。该研究为使用激活引导的LLMs红队策略提供了有价值的见解，特别强调了整合拒绝向量的重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）中存在的社会偏见问题，尤其是性别、种族和宗教偏见。现有方法在偏见探测和缓解方面存在不足，难以有效调整模型输出以消除偏见。

核心思路：论文提出通过激活引导技术，操控模型的激活状态来引导输出，避免偏见的产生。该方法通过引导向量的设计，能够有效地调整模型的响应方向。

技术框架：整体框架包括偏见探测、激活引导和输出调整三个主要模块。首先，通过StereoSet数据集和自定义提示生成引导向量，然后利用这些向量调整模型的激活，最终生成更为中立的输出。

关键创新：最重要的技术创新在于激活引导的应用，通过操控模型的内部状态来直接影响输出结果。这与传统的偏见缓解方法不同，后者通常依赖于数据集的修改或后处理。

关键设计：在技术细节上，设计了特定的引导向量，并结合了RLHF的反馈机制。损失函数的设计考虑了偏见的多样性，以确保模型在不同偏见形式上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Llama 2 7B Chat模型在性别偏见方面存在显著问题，且RLHF后偏见表现未见改善。研究还发现，模型拒绝偏见响应的倾向与偏见程度呈负相关，表明模型对偏见的理解存在局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、招聘系统和法律决策等，能够有效降低模型在这些高影响力场景中的偏见风险。未来，该方法可能为其他大型语言模型的偏见探测与缓解提供参考，推动更公平的AI系统发展。

📄 摘要（原文）

We address the challenge of societal bias in Large Language Models (LLMs), focusing on the Llama 2 7B Chat model. As LLMs are increasingly integrated into decision-making processes with substantial societal impact, it becomes imperative to ensure these models do not reinforce existing biases. Our approach employs activation steering to probe for and mitigate biases related to gender, race, and religion. This method manipulates model activations to direct responses towards or away from biased outputs, utilizing steering vectors derived from the StereoSet dataset and custom GPT4 generated gender bias prompts. Our findings reveal inherent gender bias in Llama 2 7B Chat, persisting even after Reinforcement Learning from Human Feedback (RLHF). We also observe a predictable negative correlation between bias and the model's tendency to refuse responses. Significantly, our study uncovers that RLHF tends to increase the similarity in the model's representation of different forms of societal biases, which raises questions about the model's nuanced understanding of different forms of bias. This work also provides valuable insights into effective red-teaming strategies for LLMs using activation steering, particularly emphasizing the importance of integrating a refusal vector.