LLM Evaluators Recognize and Favor Their Own Generations

📄 arXiv: 2404.13076v1 📥 PDF

作者: Arjun Panickssery, Samuel R. Bowman, Shi Feng

分类: cs.CL, cs.AI

发布日期: 2024-04-15

💡 一句话要点

探讨LLM自评偏见及其自我识别能力的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我评估 大型语言模型 自我偏好 自我识别 AI安全性 偏见研究

📋 核心要点

  1. 现有的自我评估方法在使用LLM时引入了新的偏见，尤其是自我偏好现象。
  2. 论文通过微调LLM，探讨自我识别能力如何影响自我偏好，提出了新的实验设计。
  3. 实验结果显示，LLM在自我识别方面的准确性与自我偏好偏见强度之间存在显著的线性关系。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）在自我评估中的偏见，特别是自我偏好现象，即LLM评估其自身输出时给予更高分数。研究发现，LLM如GPT-4和Llama 2能够有效区分自身与其他模型及人类输出。通过微调LLM，发现自我识别能力与自我偏好偏见之间存在线性相关性。实验结果表明，自我识别能力可能会干扰无偏评估，影响AI安全性。

🔬 方法详解

问题定义：本文旨在解决LLM在自我评估中出现的自我偏好现象，现有方法未能有效识别这种偏见的来源和影响。

核心思路：通过研究LLM的自我识别能力，探讨其如何影响自我评估的偏见，进而提出微调策略来改善评估的客观性。

技术框架：研究首先通过对LLM进行自我识别能力的测试，然后进行微调以增强其识别能力，最后通过控制实验验证自我识别与自我偏好之间的关系。

关键创新：本研究的创新在于揭示了LLM自我识别能力与自我偏好之间的线性关系，提供了新的视角来理解LLM的评估偏见。

关键设计：在实验中，采用了特定的微调策略和损失函数，以增强LLM的自我识别能力，确保实验结果的可靠性和有效性。通过对比不同模型的评估结果，验证了自我偏好现象的存在。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，GPT-4和Llama 2在自我识别任务中的准确率显著高于随机水平，且自我识别能力的增强与自我偏好偏见的强度呈线性相关，验证了理论假设的有效性。

🎯 应用场景

该研究的潜在应用领域包括AI系统的评估机制、自动化内容生成及其在教育、法律等领域的应用。通过改善LLM的自我评估能力，可以提升AI系统的可靠性和安全性，降低偏见影响。

📄 摘要（原文）

Self-evaluation using large language models (LLMs) has proven valuable not only in benchmarking but also methods like reward modeling, constitutional AI, and self-refinement. But new biases are introduced due to the same LLM acting as both the evaluator and the evaluatee. One such bias is self-preference, where an LLM evaluator scores its own outputs higher than others' while human annotators consider them of equal quality. But do LLMs actually recognize their own outputs when they give those texts higher scores, or is it just a coincidence? In this paper, we investigate if self-recognition capability contributes to self-preference. We discover that, out of the box, LLMs such as GPT-4 and Llama 2 have non-trivial accuracy at distinguishing themselves from other LLMs and humans. By fine-tuning LLMs, we discover a linear correlation between self-recognition capability and the strength of self-preference bias; using controlled experiments, we show that the causal explanation resists straightforward confounders. We discuss how self-recognition can interfere with unbiased evaluations and AI safety more generally.