Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization

📄 arXiv: 2403.03419v2 📥 PDF

作者: Shitong Duan, Xiaoyuan Yi, Peng Zhang, Yan Liu, Zheng Liu, Tun Lu, Xing Xie, Ning Gu

分类: cs.CL, cs.AI

发布日期: 2024-03-06 (更新: 2024-09-30)

备注: Accepted by EMNLP 2024(Findings)

💡 一句话要点

提出D²O优化方法以解决LLM对人类负样本的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对齐技术 负样本 分布式不偏好优化 生成质量 安全性 自然语言处理

📋 核心要点

  1. 现有对齐方法依赖高质量的正负样本，面临噪声正样本难以区分的问题，影响生成质量。
  2. 本文提出分布式不偏好优化（D²O），通过最大化不受欢迎响应与非负响应之间的差异来实现对齐。
  3. 实验结果显示，D²O在生成质量上与强基线相当，同时在减少有害性和提高信息量方面表现更佳。

📝 摘要（中文）

大型语言模型（LLMs）在人工智能领域引发了革命，但也带来了潜在的社会风险。为了使LLMs更符合人类偏好，研究者们提出了对齐技术。然而，现有方法依赖高质量的正负训练对，面临噪声正样本难以区分的问题。本文提出了一种新的研究思路，探索仅使用人类标注的负样本进行对齐，旨在保留有用性并减少有害性。为此，提出了分布式不偏好优化（D²O），最大化不受欢迎响应与生成的非负响应之间的差异。实验结果表明，D²O在生成质量上与最新基线相当，并在减少有害性和提高信息量方面表现出色。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）对人类负样本的对齐问题。现有方法依赖于高质量的正负样本，导致噪声正样本难以区分，影响模型生成的质量和安全性。

核心思路：论文提出的D²O方法通过仅使用人类标注的负样本，最大化不受欢迎响应与生成的非负响应之间的差异，从而实现对齐。这种设计旨在避免噪声正样本的影响，同时保持生成内容的有用性。

技术框架：D²O的整体架构包括数据准备、模型训练和评估三个主要阶段。在数据准备阶段，收集人类标注的负样本；在模型训练阶段，利用D²O优化损失函数进行模型训练；最后在评估阶段，比较生成内容的质量和安全性。

关键创新：D²O的核心创新在于其通过分布式不偏好模型来反映人类对负响应的偏好，理论上提供了实例级DPO的上界。这一方法避免了传统方法中对正样本的依赖，具有更高的灵活性和适应性。

关键设计：D²O的关键设计包括损失函数的构建，确保最大化不受欢迎响应与非负响应之间的差异。此外，模型结构采用了自生成响应作为锚点，以避免信息崩溃，提升训练的稳定性和收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，D²O方法在生成质量上与最新强基线相当，同时在减少有害性和提高信息量方面表现优异。具体而言，D²O在生成响应的有害性方面显著低于对比基线，且训练稳定性和收敛速度也得到了提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和内容生成等。通过优化大型语言模型的生成质量和安全性，D²O方法能够在实际应用中减少有害内容的生成，提高用户体验，具有重要的社会价值和影响力。

📄 摘要（原文）

Large language models (LLMs) have revolutionized the role of AI, yet pose potential social risks. To steer LLMs towards human preference, alignment technologies have been introduced and gained increasing attention. Nevertheless, existing methods heavily rely on high-quality positive-negative training pairs, suffering from noisy positive responses that are barely distinguishable from negative ones. Given recent LLMs' proficiency in generating helpful responses, this work pivots towards a new research question: can we achieve alignment using solely human-annotated negative samples, preserving helpfulness while reducing harmfulness? For this purpose, we propose Distributional Dispreference Optimization (D$^2$O), which maximizes the discrepancy between dispreferred responses and the generated non-negative ones. In this way, D$^2$O effectively eschews harmful information without incorporating noisy positive samples, while avoiding collapse using self-generated responses as anchors. We demonstrate that D$^2$O can be regarded as learning a distributional preference model reflecting human dispreference against negative responses, which is theoretically an upper bound of the instance-level DPO. Extensive experiments manifest that our method achieves comparable generation quality and surpasses the latest strong baselines in producing less harmful and more informative responses with better training stability and faster convergence.