PCA-Bench: Evaluating Multimodal Large Language Models in Perception-Cognition-Action Chain

📄 arXiv: 2402.15527v1 📥 PDF

作者: Liang Chen, Yichi Zhang, Shuhuai Ren, Haozhe Zhao, Zefan Cai, Yuchi Wang, Peiyi Wang, Xiangdi Meng, Tianyu Liu, Baobao Chang

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-02-21

备注: Code and Data released at https://github.com/pkunlp-icler/PCA-EVAL. Leaderboard at: https://docs.qq.com/sheet/DVUd4WUpGRHRqUnNV. This article supersedes its workshop version arxiv: 2310.02071. arXiv admin note: text overlap with arXiv:2310.02071

💡 一句话要点

提出PCA-Bench以评估多模态大语言模型在决策中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 决策评估 复杂场景 错误定位 具身指令演化 自主驾驶 家用机器人 开放世界游戏

📋 核心要点

  1. 现有基准主要集中于简单任务，无法全面评估多模态大语言模型在复杂决策中的综合能力。
  2. PCA-Bench通过引入复杂场景，要求模型在感知、认知和行动中无缝整合多种能力，以实现更真实的决策评估。
  3. 实验结果显示，开源模型与专有模型之间存在显著差异，EIE框架有效提升了开源模型的性能，部分超越了GPT-4 Vision。

📝 摘要（中文）

我们提出了PCA-Bench，这是一个用于评估多模态大语言模型（MLLMs）综合能力的决策基准。与以往关注简单任务和单一模型能力的基准不同，PCA-Bench引入了自主驾驶、家用机器人和开放世界游戏三种复杂场景。模型需要在推理链中无缝整合感知、认知和行动的多种能力，以做出准确决策。此外，PCA-Bench具备错误定位能力，能够审视模型在感知、知识或推理等方面的不足，从而增强MLLMs的可靠性。为平衡评估的准确性和效率，我们提出了PCA-Eval自动评估协议，并评估了10种流行的MLLMs。结果显示开源模型与强大的专有模型（如GPT-4 Vision）之间存在显著性能差异。为此，我们引入了具身指令演化（EIE）框架，自动合成多模态环境中的指令调优示例，生成了7510个训练示例，并提升了开源MLLMs的性能，偶尔超过GPT-4 Vision（决策准确率提升3%），验证了EIE的有效性。我们的研究表明，像GPT-4 Vision这样的强大MLLMs在具身代理的决策中展现出良好前景，为MLLM研究开辟了新方向。

🔬 方法详解

问题定义：本研究旨在解决现有多模态大语言模型评估基准无法全面反映模型在复杂决策场景中的综合能力的问题。现有方法往往局限于简单任务，无法有效评估模型在真实应用中的表现。

核心思路：PCA-Bench通过设计复杂的决策场景，要求模型整合感知、认知和行动能力，形成推理链，以实现更高效的决策评估。同时，增加错误定位功能，以便更好地理解模型的不足之处。

技术框架：PCA-Bench的整体架构包括三个主要模块：复杂场景设计、能力整合评估和错误定位分析。模型在接收到任务指令和多样化上下文后，需在这三个模块中进行有效的能力整合与决策。

关键创新：PCA-Bench的创新之处在于引入了复杂的决策场景和错误定位能力，使得评估不仅限于模型的单一能力，而是综合考量其在真实应用中的表现。这与以往的单一任务评估方法有本质区别。

关键设计：在评估过程中，采用PCA-Eval自动评估协议，确保评估的准确性和效率。同时，EIE框架通过自动生成7510个训练示例，优化了指令调优过程，提升了模型的决策准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，开源模型与专有模型（如GPT-4 Vision）之间存在显著的性能差异。通过EIE框架，开源模型的决策准确率提升了3%，部分情况下超越了GPT-4 Vision，验证了EIE的有效性，为开源模型的进一步发展提供了新思路。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶、家用机器人和开放世界游戏等复杂决策场景。通过提升多模态大语言模型的决策能力，PCA-Bench为实际应用提供了更可靠的评估标准，推动了智能代理技术的发展，未来可能在智能家居、自动驾驶和游戏开发等领域产生深远影响。

📄 摘要（原文）

We present PCA-Bench, a multimodal decision-making benchmark for evaluating the integrated capabilities of Multimodal Large Language Models (MLLMs). Departing from previous benchmarks focusing on simplistic tasks and individual model capability, PCA-Bench introduces three complex scenarios: autonomous driving, domestic robotics, and open-world games. Given task instructions and diverse contexts, the model is required to seamlessly integrate multiple capabilities of Perception, Cognition, and Action in a reasoning chain to make accurate decisions. Moreover, PCA-Bench features error localization capabilities, scrutinizing model inaccuracies in areas such as perception, knowledge, or reasoning. This enhances the reliability of deploying MLLMs. To balance accuracy and efficiency in evaluation, we propose PCA-Eval, an automatic evaluation protocol, and assess 10 prevalent MLLMs. The results reveal significant performance disparities between open-source models and powerful proprietary models like GPT-4 Vision. To address this, we introduce Embodied-Instruction-Evolution (EIE), an automatic framework for synthesizing instruction tuning examples in multimodal embodied environments. EIE generates 7,510 training examples in PCA-Bench and enhances the performance of open-source MLLMs, occasionally surpassing GPT-4 Vision (+3\% in decision accuracy), thereby validating the effectiveness of EIE. Our findings suggest that robust MLLMs like GPT4-Vision show promise for decision-making in embodied agents, opening new avenues for MLLM research.