PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models
作者: Haochen Tan, Zhijiang Guo, Zhan Shi, Lu Xu, Zhili Liu, Yunlong Feng, Xiaoguang Li, Yasheng Wang, Lifeng Shang, Qun Liu, Linqi Song
分类: cs.CL, cs.AI
发布日期: 2024-01-26 (更新: 2024-06-04)
备注: Accepted to ACL 2024 main conference
💡 一句话要点
提出ProxyQA框架以评估长文本生成质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长文本生成 评估框架 大型语言模型 自动化评估 人类评估标准
📋 核心要点
- 现有评估方法依赖众包，效率低且劳动密集，自动化指标与人类判断不一致。
- 提出ProxyQA框架，通过元问题和代理问题评估长文本生成质量，提升评估效率。
- 实验结果显示ProxyQA与人类评估标准高度一致，验证了其作为高质量评估工具的有效性。
📝 摘要（中文）
大型语言模型（LLMs）在理解长文本内容方面取得了显著成功，但其生成长文本的能力尚未得到充分探索和评估。现有的评估方法主要依赖众包，效率低且劳动密集，而自动化指标如ROUGE分数与人类判断标准不一致。本文提出了ProxyQA，一个创新框架，旨在评估长文本生成质量。ProxyQA包含多个领域的深度人类策划的元问题，每个元问题配有特定的代理问题及预标注答案。LLMs根据这些元问题生成内容，通过评估者的准确性来评估生成内容的质量。实验表明，ProxyQA作为高质量评估工具具有自洽性，并与人类评估标准高度一致。
🔬 方法详解
问题定义：本文旨在解决现有长文本生成评估方法的低效和不一致性问题，尤其是众包评估的劳动密集特性和自动化指标的局限性。
核心思路：ProxyQA框架通过设计深度人类策划的元问题和对应的代理问题，结合LLMs生成的内容进行评估，旨在提高评估的准确性和效率。
技术框架：ProxyQA的整体架构包括元问题的设计、代理问题的生成、LLMs内容生成和评估者的准确性评估四个主要模块。评估者使用生成的文本作为背景信息，回答代理问题。
关键创新：ProxyQA的核心创新在于引入了代理问题的概念，通过与人类评估标准的高度一致性，克服了传统评估方法的不足。
关键设计：在设计中，元问题和代理问题的选择经过深思熟虑，确保覆盖多领域，且每个代理问题都有预标注答案，以便进行准确评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ProxyQA的评估方法与人类评估标准高度一致，且在多个大型语言模型的测试中，显示出显著的自洽性和准确性，验证了其作为高质量评估工具的有效性。
🎯 应用场景
ProxyQA框架可广泛应用于长文本生成任务的评估，如报告、文章和其他形式的内容创作。其高效的评估机制将为内容生成领域提供更可靠的质量控制手段，推动相关技术的进一步发展和应用。
📄 摘要（原文）
Large Language Models (LLMs) have succeeded remarkably in understanding long-form contents. However, exploring their capability for generating long-form contents, such as reports and articles, has been relatively unexplored and inadequately assessed by existing benchmarks. The prevalent evaluation methods, which predominantly rely on crowdsourcing, are recognized for their labor-intensive nature and lack of efficiency, whereas automated metrics, such as the ROUGE score, demonstrate discordance with human judgment criteria. In this paper, we propose ProxyQA, an innovative framework dedicated to assessing long-text generation. ProxyQA comprises in-depth human-curated meta-questions spanning various domains, each accompanied by specific proxy-questions with pre-annotated answers. LLMs are tasked to generate extensive content in response to these meta-questions, by engaging an evaluator and incorporating the generated texts as contextual background, ProxyQA assesses the generated content's quality through the evaluator's accuracy in addressing the proxy-questions. We examine multiple LLMs, emphasizing ProxyQA's demanding nature as a high-quality assessment tool. Human evaluation demonstrates that the proxy-question method is notably self-consistent and aligns closely with human evaluative standards. The dataset and leaderboard is available at \url{https://proxy-qa.com}.