MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration
作者: Lin Xu, Zhiyuan Hu, Daquan Zhou, Hongyu Ren, Zhen Dong, Kurt Keutzer, See Kiong Ng, Jiashi Feng
分类: cs.CL
发布日期: 2023-11-14 (更新: 2024-11-27)
备注: EMNLP 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出MAgIC框架以评估多智能体环境中的LLMs能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多智能体系统 社交推理 博弈论 概率图模型 能力评估 推理能力 协作能力
📋 核心要点
- 现有方法缺乏对大型语言模型在多智能体环境中推理和协作能力的全面评估。
- 本文提出了一种基于竞争的基准框架，结合概率图模型，旨在评估LLMs的社会能力。
- 实验结果显示，最强的GPT-01与最弱的Llama-2-70B之间能力差距超过三倍，PGM增强使模型能力平均提升37%。
📝 摘要（中文）
大型语言模型（LLMs）在自然语言处理领域取得了显著进展，展现出卓越的推理、工具使用和记忆能力。随着其应用扩展到多智能体环境，迫切需要一个全面的评估框架，以捕捉LLMs的推理、规划、协作等社会能力。本文提出了一种基于竞争的基准框架，专门用于评估LLMs在多智能体设置中的表现，提供定量指标来评估其判断、推理、欺骗、自我意识、合作、协调和理性。我们利用两种社会推理游戏和三种博弈论场景创建多样化环境，并通过概率图模型（PGM）方法增强LLMs在复杂社会和认知维度中的能力。我们评估了七种LLMs，定量显示最强的GPT-01与最弱的Llama-2-70B之间存在超过三倍的能力差距，同时确认PGM增强使所有选定模型的能力平均提升了37%。
🔬 方法详解
问题定义：本文旨在解决现有方法在评估大型语言模型（LLMs）在多智能体环境中的推理、协作等社会能力时的不足，缺乏全面的评估框架。
核心思路：提出了一种竞争性基准框架，结合概率图模型（PGM），通过多样化的社交推理游戏和博弈论场景来评估LLMs的能力，增强其在复杂社会互动中的表现。
技术框架：整体架构包括两个主要部分：首先是基于社交推理游戏的环境设计，其次是通过PGM方法增强LLMs的能力。评估指标涵盖判断、推理、合作等多个维度。
关键创新：最重要的创新在于引入PGM方法来提升LLMs在复杂社交和认知任务中的表现，这一设计与传统评估方法相比，能够更全面地捕捉模型的能力。
关键设计：在实验中，采用了多种社交推理游戏和博弈论场景，设置了不同的评估指标和参数，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最强的GPT-01与最弱的Llama-2-70B之间存在超过三倍的能力差距，且通过PGM增强，所有模型的能力平均提升了37%，显示出显著的性能差异和提升效果。
🎯 应用场景
该研究的潜在应用领域包括智能助手、游戏AI、社交机器人等，能够为多智能体系统的设计和评估提供重要参考，推动相关技术的进步与应用。
📄 摘要（原文）
Large Language Models (LLMs) have significantly advanced natural language processing, demonstrating exceptional reasoning, tool usage, and memory capabilities. As their applications expand into multi-agent environments, there arises a need for a comprehensive evaluation framework that captures LLMs' reasoning, planning, collaboration, and other social abilities. This work introduces a novel competition-based benchmark framework specifically designed to assess LLMs within multi-agent settings, providing quantitative metrics to evaluate their judgment, reasoning, deception, self-awareness, cooperation, coordination, and rationality. We utilize two social deduction games alongside three game-theory scenarios to create diverse environments. Our frame is fortified with the probabilistic graphic modeling (PGM) method, enhancing the LLMs' capabilities in navigating complex social and cognitive dimensions. We evaluate seven LLMs, quantitatively highlighting a significant capability gap of over threefold between the strongest, GPT o1, and the weakest, Llama-2-70B. It also confirms that our PGM enhancement boosts the abilities of all selected models by an average of 37%. Our data and code can be found here https://github.com/cathyxl/MAgIC.