PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks
作者: Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig
分类: cs.LG, cs.AI
发布日期: 2026-06-30
备注: Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PPT-Eval基准以评估计算机使用代理在PowerPoint任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 计算机使用代理 PowerPoint任务 评估基准 多模态学习 自然语言反馈 评分标准 人工智能评估
📋 核心要点
- 现有的计算机使用代理在处理PowerPoint任务时表现不佳，尤其是在复杂的多模态任务中，成功率低且评估标准不够全面。
- 论文提出了PPT-Eval基准，通过设计任务特定的评分标准，允许对中间步骤进行部分评分，并提供自然语言反馈，从而改善评估过程。
- 实验结果显示，尽管使用了强大的模型，如Claude-4.5-Opus，但其在PowerPoint任务上的成功率仅为45%，平均部分得分为57%，显示出当前代理的局限性。
📝 摘要（中文）
创建和编辑幻灯片是一项丰富的多模态活动，广泛应用于专业和教育环境，因此成为现实世界计算机使用代理的理想测试平台。我们引入了PPT-Eval，这是一个涵盖120个PowerPoint任务的基准，分为12个文件，涵盖内容创建和演示编辑场景，并按难度组织。该领域的一个核心挑战是评估：任务复杂且多模态，通常存在多种有效解决方案。此外，现有代理往往只能部分完成任务，二元成功指标无法充分反映这一点。为此，我们设计了一个稳健的评估框架，帮助为PowerPoint任务创建特定的评分标准，这些标准为中间步骤提供部分积分，惩罚不必要的更改和差的美学，并提供自然语言反馈。该方法有效地实现了与人类判断的Kendall's τ-b相关性为0.77。
🔬 方法详解
问题定义：论文要解决的问题是如何有效评估计算机使用代理在PowerPoint任务中的表现。现有方法的痛点在于任务复杂且多模态，传统的二元成功指标无法准确反映代理的实际表现。
核心思路：论文的核心解决思路是设计一个稳健的评估框架，创建任务特定的评分标准，以允许对中间步骤进行部分评分，并提供自然语言反馈，从而更全面地评估代理的表现。
技术框架：整体架构包括任务定义、评分标准设计和评估过程三个主要模块。首先定义任务，然后基于任务特性设计评分标准，最后通过评估框架对代理的表现进行综合评估。
关键创新：最重要的技术创新点在于引入了评分标准的多样性，允许部分积分和自然语言反馈，这与现有方法的单一成功与否评估形成了鲜明对比。
关键设计：关键设计包括对评分标准的细致划分，考虑了中间步骤的贡献、对不必要更改的惩罚以及美学质量的评估，确保评估结果的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PPT-Eval基准的设计有效提升了评估的准确性，Kendall's τ-b相关性达到0.77。尽管使用了先进的模型，现有代理在PowerPoint任务上的成功率仅为45%，平均部分得分为57%，显示出该领域的挑战性和改进空间。
🎯 应用场景
该研究的潜在应用领域包括教育、培训和企业环境，尤其是在需要创建和编辑演示文稿的场景中。通过提供一个标准化的评估框架，可以帮助开发更智能的计算机使用代理，提高其在实际应用中的表现和用户体验。未来，该基准可能推动计算机视觉和自然语言处理领域的进一步研究，促进多模态学习的进步。
📄 摘要（原文）
Creating and editing slides is a rich, multimodal activity that is ubiquitous in professional and educational settings, making it an ideal testbed for real-world computer-use agents. Microsoft PowerPoint is among the most widely adopted and feature-rich environments for presentation creation. We introduce PPT-Eval, a benchmark of 120 PowerPoint tasks across 12 files that cover both content creation and presentation editing scenarios, organized by difficulty. A central challenge in this domain is evaluation: tasks are complex, multimodal, and often admit many valid solutions. Moreover, today's agents frequently make only partial progress, which binary success metrics fail to capture. To address this, we design a robust evaluation framework to help create task-specific rubrics for PowerPoint tasks, taking inspiration from and building on past works for rubric-based evaluation. These rubrics award partial credit for intermediate steps, penalize unnecessary changes and poor aesthetics, and provide natural language feedback. This nuanced approach proves highly effective, achieving a Kendall's τ-b correlation of 0.77 with human judgments. We find that existing frontier agents still struggle with solving PowerPoint tasks, with strong models like Claude-4.5-Opus achieving only a 45% success rate and an average partial score of 57%. The benchmark is located at: https://microsoft.github.io/ppteval.