PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion

📄 arXiv: 2403.03788v1 📥 PDF

作者: Zekai Zhang, Yiduo Guo, Yaobo Liang, Dongyan Zhao, Nan Duan

分类: cs.CL

发布日期: 2024-03-06

备注: LLM evaluation, Multi-turn, Multi-language, Multi-modal benchmark

🔗 代码/项目: GITHUB

💡 一句话要点

提出PPTC-R基准以评估大语言模型在PowerPoint任务完成中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 鲁棒性评估 对抗性指令 多语言处理 软件版本模拟

📋 核心要点

  1. 现有方法未能全面评估大语言模型在复杂任务完成中的鲁棒性，尤其是在多语言和软件版本变化的情况下。
  2. 本文提出PPTC-R基准，通过构建对抗性用户指令和模拟软件版本变化，系统性地评估LLMs的鲁棒性。
  3. 实验结果显示，GPT-4在多语言和版本更新设置下表现最佳，但在多重挑战下所有LLMs的性能均显著下降。

📝 摘要（中文）

随着对大语言模型（LLMs）在用户指令完成中的依赖日益增加，理解其在复杂任务完成中的鲁棒性显得尤为重要。为此，本文提出了PowerPoint任务完成鲁棒性基准（PPTC-R），用于评估LLMs对用户PPT任务指令和软件版本的鲁棒性。我们通过在句子、语义和多语言层面构建对抗性用户指令，来测试LLMs对软件版本的鲁棒性。实验结果表明，GPT-4在我们的基准测试中表现最佳，尤其是在版本更新和多语言设置下。然而，当面临多重挑战时，所有LLMs的鲁棒性均显著下降。我们进一步分析了LLMs在基准测试中的鲁棒性行为和错误原因，为研究人员理解LLMs在任务完成中的鲁棒性提供了宝贵的见解。

🔬 方法详解

问题定义：本文旨在解决大语言模型在PowerPoint任务完成中的鲁棒性评估问题。现有方法缺乏对复杂任务和多变环境的全面测试，导致模型在实际应用中的表现不稳定。

核心思路：我们提出PPTC-R基准，通过构建对抗性用户指令和模拟不同软件版本，系统性地评估LLMs的鲁棒性。这种设计能够揭示模型在面对复杂指令和环境变化时的表现。

技术框架：整体架构包括构建对抗性指令、设置不同软件版本、以及对多种LLMs进行测试。主要模块包括用户指令生成、API版本模拟和性能评估。

关键创新：本文的主要创新在于通过对抗性指令和软件版本变化的结合，全面评估LLMs的鲁棒性。这与现有方法的单一评估方式形成了鲜明对比。

关键设计：在实验中，我们设置了多种对抗性指令，涵盖句子、语义和多语言层面，同时模拟了最新和早期版本的API，以测试模型在不同条件下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在PPTC-R基准测试中表现最佳，尤其在版本更新和多语言设置下，鲁棒性强。然而，当面临多重挑战（如多轮对话）时，所有LLMs的性能均出现显著下降，提示未来研究需关注模型在复杂场景下的表现。

🎯 应用场景

该研究的潜在应用领域包括教育、商业演示和自动化办公等场景。通过提升大语言模型在复杂任务中的鲁棒性，可以显著提高用户体验和任务完成效率，未来可能推动更智能的办公助手和自动化工具的发展。

📄 摘要（原文）

The growing dependence on Large Language Models (LLMs) for finishing user instructions necessitates a comprehensive understanding of their robustness to complex task completion in real-world situations. To address this critical need, we propose the PowerPoint Task Completion Robustness benchmark (PPTC-R) to measure LLMs' robustness to the user PPT task instruction and software version. Specifically, we construct adversarial user instructions by attacking user instructions at sentence, semantic, and multi-language levels. To assess the robustness of Language Models to software versions, we vary the number of provided APIs to simulate both the newest version and earlier version settings. Subsequently, we test 3 closed-source and 4 open-source LLMs using a benchmark that incorporates these robustness settings, aiming to evaluate how deviations impact LLMs' API calls for task completion. We find that GPT-4 exhibits the highest performance and strong robustness in our benchmark, particularly in the version update and the multilingual settings. However, we find that all LLMs lose their robustness when confronted with multiple challenges (e.g., multi-turn) simultaneously, leading to significant performance drops. We further analyze the robustness behavior and error reasons of LLMs in our benchmark, which provide valuable insights for researchers to understand the LLM's robustness in task completion and develop more robust LLMs and agents. We release the code and data at \url{https://github.com/ZekaiGalaxy/PPTCR}.