PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

📄 arXiv: 2311.01767v2 📥 PDF

作者: Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Nan Duan

分类: cs.CL

发布日期: 2023-11-03 (更新: 2023-11-07)

备注: LLM evaluation, PPT task completion

🔗 代码/项目: GITHUB

💡 一句话要点

提出PPTC基准以评估大语言模型在PowerPoint任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多模态任务 PowerPoint 任务评估 PPTC基准 PPTX-Match

📋 核心要点

  1. 现有方法主要评估LLMs在基本自然语言任务中的能力，缺乏对复杂多模态环境下任务完成的研究。
  2. 本文提出PPTC基准，专注于评估LLMs在创建和编辑PPT文件时的表现，填补了这一研究空白。
  3. 实验结果表明，GPT-4在单轮对话中表现最佳，但在多轮会话完成上存在显著挑战，准确率仅为6%。

📝 摘要（中文）

近年来对大语言模型（LLMs）的评估主要集中在其零-shot和few-shot能力以及将指令转化为工具API的能力。然而，利用复杂工具完成多轮、多模态指令的评估尚未被深入研究。为此，本文提出了PowerPoint任务完成（PPTC）基准，以评估LLMs根据用户指令创建和编辑PPT文件的能力。该基准包含279个多轮会话，涵盖多样主题和数百条涉及多模态操作的指令。我们还提出了PPTX-Match评估系统，通过预测文件而非标签API序列来评估LLMs的指令完成情况，支持多种LLM生成的API序列。实验结果显示，GPT-4在单轮对话测试中以75.1%的准确率优于其他LLMs，但在完成整个会话时仅实现6%的会话准确率。我们发现多轮会话中的错误积累、长PPT模板处理和多模态感知是主要错误原因，这对未来的LLM和代理系统构成了重大挑战。

🔬 方法详解

问题定义：本文旨在解决大语言模型在复杂多模态环境中完成PowerPoint任务的评估问题。现有方法未能有效评估LLMs在多轮、多模态指令下的表现，导致评估结果的局限性。

核心思路：通过引入PPTC基准，评估LLMs在创建和编辑PPT文件时的能力，特别是多轮会话中的表现。设计PPTX-Match评估系统，支持多种API序列的生成与评估。

技术框架：整体架构包括数据集构建、任务定义、评估系统设计等模块。数据集包含279个多轮会话，评估系统通过比较预测文件与用户指令来判断任务完成情况。

关键创新：PPTC基准及PPTX-Match评估系统是本文的核心创新，前者填补了LLMs在复杂任务评估中的空白，后者允许多种API序列生成，增强了评估的灵活性。

关键设计：在评估过程中，采用了多轮会话的设计，关注错误积累、长模板处理和多模态感知等因素，确保评估的全面性和准确性。具体参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在单轮对话测试中以75.1%的准确率领先其他LLMs，但在多轮会话的整体完成上仅实现6%的准确率，揭示了当前LLMs在复杂任务中的局限性。

🎯 应用场景

该研究的潜在应用领域包括教育、商业演示和自动化办公等，能够帮助用户更高效地创建和编辑PPT文件。未来，PPTC基准和评估系统可为大语言模型的进一步发展提供指导，推动多模态人工智能的应用与研究。

📄 摘要（原文）

Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at \url{https://github.com/gydpku/PPTC}.