RepEval: Effective Text Evaluation with LLM Representation

📄 arXiv: 2404.19563v2 📥 PDF

作者: Shuqian Sheng, Yi Xu, Tianhang Zhang, Zanwei Shen, Luoyi Fu, Jiaxin Ding, Lei Zhou, Xiaoying Gan, Xinbing Wang, Chenghu Zhou

分类: cs.CL

发布日期: 2024-04-30 (更新: 2024-10-28)

💡 一句话要点

提出RepEval以解决LLM文本评估的适应性与成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本评估 自动化评估 方向向量 评估指标

📋 核心要点

  1. 现有的自动文本评估方法往往针对特定场景，缺乏通用性，且基于LLM的评估方法成本高昂，难以广泛应用。
  2. 论文提出RepEval，通过对LLM表示的投影进行评估，能够适应多种任务，仅需少量样本对构建方向向量。
  3. 在十四个数据集上的实验结果显示，RepEval在与人类判断的相关性上优于传统方法，尤其在复杂评估场景中表现突出。

📝 摘要（中文）

随着大型语言模型（LLMs）的发展，自动评估指标面临新的需求，需适应多种应用场景，同时保持低成本和高效性。传统的自动文本评估指标通常针对特定场景，而基于LLM的评估指标则成本高昂，需进行微调或严重依赖LLM的生成能力。此外，之前的LLM评估指标忽视了LLM表示空间中存在的方向向量，这些向量可以指示文本质量的估计。为此，我们提出了RepEval，这是一种利用LLM表示的投影进行评估的指标。通过简单的提示修改，RepEval可以轻松过渡到各种任务，仅需最少的样本对来构建方向向量。我们在十四个数据集上的实验结果表明，该方法在复杂评估场景中与人类判断的相关性高于以往方法。

🔬 方法详解

问题定义：本论文旨在解决现有自动文本评估方法的适应性不足和高成本问题。传统方法往往针对特定场景，缺乏灵活性，而基于LLM的评估方法则需要大量资源进行微调，限制了其应用。

核心思路：论文的核心思路是利用LLM表示中的方向向量来进行文本质量评估。通过简单的提示修改，RepEval能够快速适应不同的评估任务，降低了对样本的需求。

技术框架：RepEval的整体架构包括数据预处理、LLM表示生成、方向向量构建和评估模块。首先，通过输入文本生成LLM表示，然后通过少量样本对构建方向向量，最后进行文本质量评估。

关键创新：RepEval的主要创新在于利用LLM表示中的方向向量进行评估，这一方法与传统的基于生成的评估方法有本质区别，后者往往依赖于复杂的生成过程。

关键设计：在关键设计上，RepEval采用了简单的提示修改策略，允许用户根据不同任务灵活调整输入，同时在方向向量构建中仅需最少的样本对，显著降低了评估成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RepEval在十四个数据集上表现出色，与人类判断的相关性显著高于传统评估方法，尤其在复杂的成对选择任务中，提升幅度达到20%以上，展示了其在文本质量评估中的有效性和可靠性。

🎯 应用场景

RepEval的潜在应用场景包括教育评估、内容生成质量监控和社交媒体内容审核等领域。其高效的评估能力能够帮助相关行业快速判断文本质量，提升内容审核的自动化水平，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

The era of Large Language Models (LLMs) raises new demands for automatic evaluation metrics, which should be adaptable to various application scenarios while maintaining low cost and effectiveness. Traditional metrics for automatic text evaluation are often tailored to specific scenarios, while LLM-based evaluation metrics are costly, requiring fine-tuning or rely heavily on the generation capabilities of LLMs. Besides, previous LLM-based metrics ignore the fact that, within the space of LLM representations, there exist direction vectors that indicate the estimation of text quality. To this end, we introduce RepEval, a metric that leverages the projection of LLM representations for evaluation. Through simple prompt modifications, RepEval can easily transition to various tasks, requiring only minimal sample pairs for direction vector construction. Results on fourteen datasets across two evaluation tasks demonstrate the high effectiveness of our method, which exhibits a higher correlation with human judgments than previous methods, even in complex evaluation scenarios involving pair-wise selection under nuanced aspects. Our work underscores the richness of information regarding text quality embedded within LLM representations, offering insights for the development of new metrics.