NewsBench: A Systematic Evaluation Framework for Assessing Editorial Capabilities of Large Language Models in Chinese Journalism
作者: Miao Li, Ming-Bin Chen, Bo Tang, Shengbin Hou, Pengyu Wang, Haiying Deng, Zhiyu Li, Feiyu Xiong, Keming Mao, Peng Cheng, Yi Luo
分类: cs.CL, cs.AI
发布日期: 2024-02-29 (更新: 2024-06-04)
备注: Long paper, ACL 2024 Main
💡 一句话要点
提出NewsBench框架以评估大型语言模型在中文新闻中的编辑能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 中文新闻 评估框架 写作能力 安全遵循 自动化评估 伦理指导
📋 核心要点
- 现有方法在评估大型语言模型的编辑能力时缺乏系统性和全面性，尤其是在中文新闻领域。
- 论文提出的NewsBench框架通过构建多维度的基准数据集，系统评估LLMs的写作能力和安全遵循。
- 实验结果显示，GPT-4和ERNIE Bot在评估中表现突出，但在创意写作任务中存在安全遵循不足的问题。
📝 摘要（中文）
我们提出了NewsBench，一个新颖的评估框架，系统性地评估大型语言模型（LLMs）在中文新闻中的编辑能力。构建的基准数据集专注于四个写作能力和六个安全遵循方面，包含1267个手动设计的测试样本，涵盖24个新闻领域的五个编辑任务。为测量性能，我们提出了不同的基于GPT-4的自动评估协议，以评估LLM在短答案问题上的生成能力，结果与人工评估高度相关。基于该评估框架，我们对十个流行的中文LLM进行了全面分析，结果显示GPT-4和ERNIE Bot表现最佳，但在创意写作任务中存在新闻安全遵循的相对不足。我们的发现强调了在机器生成的新闻内容中增强伦理指导的必要性，标志着LLMs与新闻标准和安全考虑的对齐向前迈进了一步。
🔬 方法详解
问题定义：本论文旨在解决现有评估大型语言模型在中文新闻编辑能力时缺乏系统性和全面性的问题。现有方法往往未能充分考虑写作能力和安全遵循的多维度评估。
核心思路：论文提出的NewsBench框架通过构建一个包含多种评估维度的基准数据集，系统性地评估大型语言模型在中文新闻中的编辑能力，确保评估的全面性和准确性。
技术框架：整体架构包括数据集构建、评估协议设计和性能测量三个主要模块。数据集涵盖四个写作能力和六个安全遵循方面，评估协议基于GPT-4进行自动化评估。
关键创新：最重要的技术创新在于构建了一个多维度的评估框架，结合了写作能力和安全遵循的评估，填补了现有方法的空白。
关键设计：数据集包含1267个手动设计的测试样本，采用多项选择题和简答题形式，评估协议通过与人工评估的高相关性验证了其有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-4和ERNIE Bot在评估中表现最佳，尤其在写作能力方面。然而，在创意写作任务中，模型在新闻安全遵循方面存在相对不足，提示了对机器生成内容的伦理指导的需求。
🎯 应用场景
该研究的潜在应用领域包括新闻编辑、内容生成和人工智能伦理等。通过提供一个系统的评估框架，NewsBench可以帮助新闻机构和技术开发者更好地理解和提升大型语言模型在新闻内容生成中的表现，确保生成内容的质量和安全性，未来可能对新闻行业的自动化和智能化发展产生深远影响。
📄 摘要（原文）
We present NewsBench, a novel evaluation framework to systematically assess the capabilities of Large Language Models (LLMs) for editorial capabilities in Chinese journalism. Our constructed benchmark dataset is focused on four facets of writing proficiency and six facets of safety adherence, and it comprises manually and carefully designed 1,267 test samples in the types of multiple choice questions and short answer questions for five editorial tasks in 24 news domains. To measure performances, we propose different GPT-4 based automatic evaluation protocols to assess LLM generations for short answer questions in terms of writing proficiency and safety adherence, and both are validated by the high correlations with human evaluations. Based on the systematic evaluation framework, we conduct a comprehensive analysis of ten popular LLMs which can handle Chinese. The experimental results highlight GPT-4 and ERNIE Bot as top performers, yet reveal a relative deficiency in journalistic safety adherence in creative writing tasks. Our findings also underscore the need for enhanced ethical guidance in machine-generated journalistic content, marking a step forward in aligning LLMs with journalistic standards and safety considerations.