Dissecting Human and LLM Preferences

📄 arXiv: 2402.11296v1 📥 PDF

作者: Junlong Li, Fan Zhou, Shichao Sun, Yikai Zhang, Hai Zhao, Pengfei Liu

分类: cs.CL, cs.AI

发布日期: 2024-02-17

🔗 代码/项目: GITHUB | HUGGINGFACE | HUGGINGFACE

💡 一句话要点

剖析人类与大型语言模型偏好以提升模型对齐性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型对齐 偏好分析 大型语言模型 人机交互 安全性评估

📋 核心要点

  1. 现有方法在模型偏好对齐方面存在不足，导致模型的可解释性和安全性问题。
  2. 论文通过剖析人类与32种LLM的偏好，提出细致的场景分析方法，以理解其定量组成。
  3. 实验结果显示，模型偏好的对齐可以显著提升评分，最大提升幅度达到0.59和31.94，表明偏好操控的有效性。

📝 摘要（中文）

人类与大型语言模型（LLM）的偏好作为模型微调的对齐目标和评估标准，反映了广泛的倾向性，导致模型的可解释性和可控性不足，存在潜在的安全风险。本文通过对人类和32种不同LLM的偏好进行剖析，利用真实用户与模型对话的注释进行细致的场景分析。研究发现，人类对错误的敏感度较低，倾向于支持自身立场的回答，而对模型承认自身局限性表现出明显的不满。相对而言，像GPT-4-Turbo这样的先进LLM更强调正确性、清晰性和无害性。此外，类似规模的LLM表现出相似的偏好，微调对预训练LLM的偏好影响不大。最后，研究表明基于偏好的评估可以被有意操控，模型与评审偏好的对齐显著提升评分，反之则降低评分，显示出这种策略适应的显著影响。

🔬 方法详解

问题定义：本文旨在解决人类与LLM偏好对齐不足的问题，现有方法未能充分解释模型行为，导致可控性差和安全隐患。

核心思路：通过对人类与多种LLM的偏好进行细致剖析，利用真实对话数据进行定量分析，以揭示其偏好的具体组成和影响因素。

技术框架：研究采用了基于真实用户对话的注释数据，分析了人类与LLM在不同场景下的偏好，构建了偏好评估模型，并进行了实验验证。

关键创新：本文的创新在于系统性地分析了人类与多种LLM的偏好差异，揭示了偏好操控对模型评分的显著影响，填补了现有研究的空白。

关键设计：研究中使用了多种评估指标，设计了偏好对齐的训练策略，并通过对比实验验证了偏好操控的有效性，确保了实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过与评审偏好的对齐，模型评分显著提升，最大提升幅度达到0.59（MT-Bench）和31.94（AlpacaEval 2.0），显示出偏好操控在模型评估中的重要性和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、个性化推荐和人机交互等。通过深入理解人类与LLM的偏好，可以提升模型的可解释性和安全性，推动更智能的AI系统的开发。未来，研究成果可能对模型的设计和评估标准产生深远影响。

📄 摘要（原文）

As a relative quality comparison of model responses, human and Large Language Model (LLM) preferences serve as common alignment goals in model fine-tuning and criteria in evaluation. Yet, these preferences merely reflect broad tendencies, resulting in less explainable and controllable models with potential safety risks. In this work, we dissect the preferences of human and 32 different LLMs to understand their quantitative composition, using annotations from real-world user-model conversations for a fine-grained, scenario-wise analysis. We find that humans are less sensitive to errors, favor responses that support their stances, and show clear dislike when models admit their limits. On the contrary, advanced LLMs like GPT-4-Turbo emphasize correctness, clarity, and harmlessness more. Additionally, LLMs of similar sizes tend to exhibit similar preferences, regardless of their training methods, and fine-tuning for alignment does not significantly alter the preferences of pretrained-only LLMs. Finally, we show that preference-based evaluation can be intentionally manipulated. In both training-free and training-based settings, aligning a model with the preferences of judges boosts scores, while injecting the least preferred properties lowers them. This results in notable score shifts: up to 0.59 on MT-Bench (1-10 scale) and 31.94 on AlpacaEval 2.0 (0-100 scale), highlighting the significant impact of this strategic adaptation. Interactive Demo: https://huggingface.co/spaces/GAIR/Preference-Dissection-Visualization Dataset: https://huggingface.co/datasets/GAIR/preference-dissection Code: https://github.com/GAIR-NLP/Preference-Dissection