Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers

📄 arXiv: 2403.01061v3 📥 PDF

作者: Melanie Subbiah, Sean Zhang, Lydia B. Chilton, Kathleen McKeown

分类: cs.CL

发布日期: 2024-03-02 (更新: 2024-07-11)

备注: pre-MIT Press publication version

💡 一句话要点

评估大型语言模型在短篇小说摘要中的表现与作者合作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 短篇小说 摘要生成 作者合作 质量评估

📋 核心要点

  1. 现有大型语言模型在处理短篇小说摘要时面临忠实性和细节解读的挑战，尤其是在复杂情节和潜台词方面。
  2. 本研究通过与小说作者合作，确保使用未见过的文本，并获取作者对摘要质量的直接反馈，提供了更为准确的评估标准。
  3. 实验结果显示，三种模型在摘要生成中均存在显著的忠实性错误，且与作者评分的相关性较低，表明现有自动评估指标的不足。

📝 摘要（中文）

本研究评估了近期的大型语言模型（LLMs）在总结短篇小说这一具有挑战性的任务上的表现。这些小说通常较长，包含细腻的潜台词或混乱的时间线。研究者与作者直接合作，确保故事未在网上分享（因此未被模型见过），并获得作者对摘要质量的知情评估。通过基于叙事理论的定量和定性分析，比较了GPT-4、Claude-2.1和LLama-2-70B。结果发现，所有三种模型在超过50%的摘要中存在忠实性错误，并在特定性和对复杂潜台词的解读上表现不佳。此外，LLM评分与作者的质量评分之间的相关性较差。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在短篇小说摘要生成中存在的忠实性和细节解读不足的问题。现有方法在处理复杂叙事时常常出现错误，导致生成的摘要无法准确反映原文的意图和情感。

核心思路：论文通过与小说作者直接合作，确保使用未见过的文本，并获取作者对生成摘要的反馈，从而提供更为客观的评估标准。这种方法强调了作者的主观评价在摘要质量评估中的重要性。

技术框架：研究采用定量和定性分析相结合的方法，首先对生成的摘要进行自动化评估，然后通过作者的反馈进行质量验证。主要模块包括文本选择、模型生成、质量评估和结果分析。

关键创新：本研究的创新点在于与作者的合作，确保使用未见过的文本，并通过作者的反馈来评估模型的摘要质量。这种方法与传统的仅依赖自动化指标的评估方式有本质区别。

关键设计：在实验中，使用了多种大型语言模型（如GPT-4、Claude-2.1和LLama-2-70B），并设计了针对摘要质量的多维度评估指标，包括忠实性、特定性和对潜台词的解读能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，三种大型语言模型在摘要生成中均存在超过50%的忠实性错误，且在处理复杂潜台词时表现不佳。此外，模型评分与作者的质量评分之间的相关性较低，表明现有自动评估指标的有效性不足。

🎯 应用场景

该研究的成果可广泛应用于文学创作、教育和内容生成等领域。通过提高大型语言模型在复杂文本摘要中的表现，可以为作家、教师和内容创作者提供更高质量的工具，帮助他们更好地理解和传达故事的核心内容与情感。未来，这种方法可能推动更智能的文本处理和生成技术的发展。

📄 摘要（原文）

We evaluate recent Large Language Models (LLMs) on the challenging task of summarizing short stories, which can be lengthy, and include nuanced subtext or scrambled timelines. Importantly, we work directly with authors to ensure that the stories have not been shared online (and therefore are unseen by the models), and to obtain informed evaluations of summary quality using judgments from the authors themselves. Through quantitative and qualitative analysis grounded in narrative theory, we compare GPT-4, Claude-2.1, and LLama-2-70B. We find that all three models make faithfulness mistakes in over 50% of summaries and struggle with specificity and interpretation of difficult subtext. We additionally demonstrate that LLM ratings and other automatic metrics for summary quality do not correlate well with the quality ratings from the writers.