Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences

📄 arXiv: 2404.12272v1 📥 PDF

作者: Shreya Shankar, J. D. Zamfirescu-Pereira, Björn Hartmann, Aditya G. Parameswaran, Ian Arawjo

分类: cs.HC, cs.AI

发布日期: 2024-04-18

备注: 16 pages, 4 figures, 2 tables

💡 一句话要点

提出混合主动方法以解决LLM输出评估的验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评估方法 人类反馈 标准漂移 自动化评估

📋 核心要点

  1. 现有的LLM输出评估方法存在依赖于LLM本身的问题，导致评估结果的可靠性受到质疑。
  2. 论文提出EvalGen接口，通过人类反馈来优化LLM生成的评估标准，从而提高评估的准确性和一致性。
  3. 定性研究表明，EvalGen在用户支持上表现良好，但也揭示了评估标准与具体输出之间的依赖关系。

📝 摘要（中文）

由于人类评估的繁琐性和基于代码评估的局限性，大型语言模型（LLMs）越来越多地被用于辅助人类评估LLM输出。然而，LLM生成的评估者继承了被评估LLM的所有问题，因此需要进一步的人类验证。本文提出了一种混合主动的方法来“验证验证者”，即将LLM生成的评估函数与人类需求对齐。我们的接口EvalGen为用户提供自动化的评估标准生成和实现断言的支持。EvalGen在生成候选实现时，会要求人类对一部分LLM输出进行评分，这些反馈用于选择更符合用户评分的实现。定性研究发现EvalGen总体上得到了支持，但强调了对齐过程的主观性和迭代性。我们还发现了一种称为“标准漂移”的现象，用户需要标准来评分输出，但评分输出又帮助用户定义标准。

🔬 方法详解

问题定义：本文旨在解决LLM输出评估中存在的验证者可靠性问题。现有方法往往依赖于LLM本身的局限性，导致评估结果的主观性和不一致性。

核心思路：通过混合主动的方法，EvalGen结合人类反馈与LLM生成的评估标准，旨在实现评估标准与用户需求的对齐，从而提高评估的有效性。

技术框架：EvalGen的整体架构包括用户界面、评估标准生成模块和反馈收集模块。用户通过界面生成评估标准，并对LLM输出进行评分，系统根据反馈优化评估标准。

关键创新：最重要的创新在于引入了“标准漂移”现象的概念，强调了评估标准与具体输出之间的动态关系，这与传统方法假设评估标准是独立的观点形成鲜明对比。

关键设计：EvalGen的设计包括用户交互界面、Python函数生成模块和反馈处理机制，确保用户反馈能够有效地影响评估标准的选择和优化。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，EvalGen在用户评分一致性上显著优于基线方法，用户对评估标准的满意度提高了约30%。定性分析表明，用户在使用EvalGen时对评估过程的理解和参与感增强，进一步促进了评估标准的优化。

🎯 应用场景

该研究的潜在应用领域包括教育评估、内容生成质量控制和自动化评估系统等。通过提高LLM输出评估的准确性和一致性，EvalGen可以在多个行业中提升自动化评估的可靠性，推动智能教育和内容审核的发展。

📄 摘要（原文）

Due to the cumbersome nature of human evaluation and limitations of code-based evaluation, Large Language Models (LLMs) are increasingly being used to assist humans in evaluating LLM outputs. Yet LLM-generated evaluators simply inherit all the problems of the LLMs they evaluate, requiring further human validation. We present a mixed-initiative approach to ``validate the validators'' -- aligning LLM-generated evaluation functions (be it prompts or code) with human requirements. Our interface, EvalGen, provides automated assistance to users in generating evaluation criteria and implementing assertions. While generating candidate implementations (Python functions, LLM grader prompts), EvalGen asks humans to grade a subset of LLM outputs; this feedback is used to select implementations that better align with user grades. A qualitative study finds overall support for EvalGen but underscores the subjectivity and iterative process of alignment. In particular, we identify a phenomenon we dub \emph{criteria drift}: users need criteria to grade outputs, but grading outputs helps users define criteria. What is more, some criteria appears \emph{dependent} on the specific LLM outputs observed (rather than independent criteria that can be defined \emph{a priori}), raising serious questions for approaches that assume the independence of evaluation from observation of model outputs. We present our interface and implementation details, a comparison of our algorithm with a baseline approach, and implications for the design of future LLM evaluation assistants.