How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments

📄 arXiv: 2403.11807v7 📥 PDF

作者: Jen-tse Huang, Eric John Li, Man Ho Lam, Tian Liang, Wenxuan Wang, Youliang Yuan, Wenxiang Jiao, Xing Wang, Zhaopeng Tu, Michael R. Lyu

分类: cs.AI, cs.CL

发布日期: 2024-03-18 (更新: 2025-03-06)

备注: Accepted to ICLR 2025; 11 pages of main text; 26 pages of appendices; Included models: GPT-3.5-{0613, 1106, 0125}, GPT-4-0125, GPT-4o-0806, Gemini-{1.0, 1.5)-Pro, LLaMA-3.1-{7, 70, 405}B, Mixtral-8x{7, 22}B, Qwen-2-72B

🔗 代码/项目: GITHUB

💡 一句话要点

提出GAMA(γ)-Bench框架以评估LLMs在多智能体环境中的决策能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 博弈论 多智能体环境 动态评分 决策能力评估 模型泛化 智能系统

📋 核心要点

  1. 现有方法主要集中在双人博弈场景，缺乏对多智能体环境的全面评估，且测试集设计静态，存在泄漏问题。
  2. 本文提出GAMA(γ)-Bench框架，包含八个经典博弈场景和动态评分机制，以定量评估LLMs的游戏能力。
  3. 实验结果显示，Gemini-1.5-Pro在13个LLMs中表现最佳，得分69.8，表明该框架有效提升了模型的评估能力。

📝 摘要（中文）

决策过程复杂，需要多种能力，因此是评估大型语言模型（LLMs）的良好框架。研究者通过博弈论考察LLMs的决策能力，但现有评估主要集中在双人场景，且测试集存在泄漏问题。本文引入GAMA(γ)-Bench，一个新的框架，用于评估LLMs在多智能体环境中的游戏能力，包含八个经典博弈论场景和动态评分机制，旨在定量评估LLMs的表现。实验结果表明，GPT-3.5展现出强大的鲁棒性，但泛化能力有限，通过链式思维等方法可增强其表现。我们评估了来自六个模型家族的13个LLMs，Gemini-1.5-Pro表现最佳，得分69.8，LLaMA-3.1-70B和Mixtral-8x22B分别得分65.9和62.4。

🔬 方法详解

问题定义：本文旨在解决现有LLMs决策能力评估方法的不足，尤其是在多智能体环境中的应用。现有方法多集中于双人博弈，且静态设计导致测试集泄漏，影响评估的有效性。

核心思路：提出GAMA(γ)-Bench框架，通过动态评分机制和多种博弈场景，全面评估LLMs在多智能体环境中的表现，增强评估的灵活性和准确性。

技术框架：GAMA(γ)-Bench框架包括八个经典博弈场景，采用动态评分系统，能够根据不同游戏参数调整评分方式，涵盖鲁棒性、泛化能力和策略改进等多个维度。

关键创新：最重要的创新在于动态评分机制的引入，使得评估不仅限于静态结果，能够适应不同的游戏设置，从而提供更全面的性能评估。

关键设计：框架设计中，关键参数包括动态评分的算法和博弈场景的选择，确保能够有效反映LLMs在复杂环境中的决策能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Gemini-1.5-Pro在13个LLMs中表现最佳，得分69.8，显著高于其他模型，如LLaMA-3.1-70B（65.9）和Mixtral-8x22B（62.4），表明GAMA(γ)-Bench框架在评估LLMs性能方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能游戏、自动化决策系统和多智能体协作等。通过评估LLMs在复杂环境中的表现，可以为未来的智能系统设计提供重要参考，推动人工智能在实际应用中的发展。

📄 摘要（原文）

Decision-making is a complex process requiring diverse abilities, making it an excellent framework for evaluating Large Language Models (LLMs). Researchers have examined LLMs' decision-making through the lens of Game Theory. However, existing evaluation mainly focus on two-player scenarios where an LLM competes against another. Additionally, previous benchmarks suffer from test set leakage due to their static design. We introduce GAMA($γ$)-Bench, a new framework for evaluating LLMs' Gaming Ability in Multi-Agent environments. It includes eight classical game theory scenarios and a dynamic scoring scheme specially designed to quantitatively assess LLMs' performance. $γ$-Bench allows flexible game settings and adapts the scoring system to different game parameters, enabling comprehensive evaluation of robustness, generalizability, and strategies for improvement. Our results indicate that GPT-3.5 demonstrates strong robustness but limited generalizability, which can be enhanced using methods like Chain-of-Thought. We also evaluate 13 LLMs from 6 model families, including GPT-3.5, GPT-4, Gemini, LLaMA-3.1, Mixtral, and Qwen-2. Gemini-1.5-Pro outperforms others, scoring of $69.8$ out of $100$, followed by LLaMA-3.1-70B ($65.9$) and Mixtral-8x22B ($62.4$). Our code and experimental results are publicly available at https://github.com/CUHK-ARISE/GAMABench.