Why Is RLHF Alignment Shallow? A Gradient Analysis

📄 arXiv: 2603.04851v1 📥 PDF

作者: Robin Young

分类: cs.LG, cs.CL

发布日期: 2026-03-05

💡 一句话要点

梯度分析揭示RLHF对齐的浅层性，并提出基于恢复惩罚的深度对齐方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 语言模型对齐 梯度分析 安全对齐 深度学习

📋 核心要点

  1. 现有基于梯度的对齐方法存在局限性，梯度信号集中在决定有害性的位置，导致对齐效果浅层。
  2. 论文核心思想是通过分析梯度，发现有害性范围之外的位置梯度信号消失，提出基于恢复惩罚的目标函数。
  3. 论文理论分析表明，提出的目标函数可以在所有位置产生梯度信号，为数据增强技术提供理论支持。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）中安全对齐的浅层性问题。通过证明基于梯度的对齐方法本质上集中在决定有害性的位置，并在其之外消失，揭示了这一现象的根本原因。利用序列级别有害性的鞅分解，推导了对齐梯度的精确表征：位置t的梯度等于条件期望有害性和得分函数之间的协方差。这意味着在有害性已经确定的有害性范围之外的位置，在训练期间接收到零梯度信号。这解释了对齐模型和基础模型之间的KL散度集中在早期token的经验观察。因此，无论优化质量如何，标准对齐目标都无法产生深度对齐。本文引入了有害信息$I_t$的概念，量化了每个位置对有害性的影响，并证明了平衡KL散度跟踪该数量。最后，本文推导出了一种基于恢复惩罚的目标函数，该函数在所有位置创建梯度信号，为经验上成功的数据增强技术提供了理论基础。

🔬 方法详解

问题定义：大型语言模型（LLMs）的安全对齐是一个重要问题，但现有的基于强化学习的对齐方法（RLHF）往往表现出“浅层对齐”的现象，即模型主要在早期token上进行调整，而后续token的对齐效果不佳。现有的对齐方法无法有效地在整个序列上进行对齐，导致模型在某些情况下仍然会生成有害或不安全的内容。

核心思路：论文的核心思路是通过对RLHF训练过程中的梯度进行分析，揭示浅层对齐的根本原因。论文证明，梯度信号主要集中在决定有害性的位置，而远离这些位置的token则接收不到有效的梯度信号。为了解决这个问题，论文提出了一种基于恢复惩罚的目标函数，该函数可以在整个序列上产生梯度信号，从而实现深度对齐。

技术框架：论文的技术框架主要包括以下几个部分：1) 对序列级别有害性进行鞅分解，将有害性分解为一系列条件期望有害性的累积和。2) 推导对齐梯度的精确表征，证明梯度等于条件期望有害性和得分函数之间的协方差。3) 引入有害信息$I_t$的概念，量化每个位置对有害性的影响。4) 提出基于恢复惩罚的目标函数，该函数可以在所有位置创建梯度信号。

关键创新：论文最重要的技术创新点在于对RLHF训练过程中的梯度进行了深入分析，揭示了浅层对齐的根本原因，并提出了基于恢复惩罚的目标函数来解决这个问题。与现有方法相比，该方法可以在整个序列上产生梯度信号，从而实现深度对齐。

关键设计：论文的关键设计包括：1) 使用鞅分解来分析序列级别的有害性。2) 推导对齐梯度的精确表征，为理解浅层对齐提供理论基础。3) 引入有害信息$I_t$的概念，量化每个位置对有害性的影响。4) 设计基于恢复惩罚的目标函数，通过在所有位置创建梯度信号来实现深度对齐。具体而言，恢复惩罚鼓励模型在每个位置都生成安全的内容，从而避免有害信息的传播。

📊 实验亮点

论文通过理论分析证明了标准对齐目标无法产生深度对齐，并提出了基于恢复惩罚的目标函数，该函数可以在所有位置创建梯度信号。该方法为数据增强技术提供了理论基础，并有望在实际应用中提升模型的安全性和可靠性。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性，减少有害内容的生成。通过深度对齐，可以使模型在更广泛的场景下表现出更高的安全性和可靠性，例如在对话系统、内容生成和智能助手等领域。

📄 摘要（原文）

Why is safety alignment in LLMs shallow? We prove that gradient-based alignment inherently concentrates on positions where harm is decided and vanishes beyond. Using a martingale decomposition of sequence-level harm, we derive an exact characterization of alignment gradients. The gradient at position $t$ equals the covariance between the conditional expected harm and the score function. This implies that positions beyond the harm horizon where the output's harmfulness is already determined receive zero gradient signal during training. This explains empirical observations that KL divergence between aligned and base models concentrates on early tokens. Consequently, standard alignment objectives cannot produce deep alignment, regardless of optimization quality. We introduce the concept of harm information $I_t$, which quantifies each position's influence on harm, and prove that equilibrium KL divergence tracks this quantity. Finally, we derive an objective based on recovery penalties that creates gradient signal at all positions, providing theoretical grounding for empirically successful data augmentation techniques.