Can LLMs Be CEOs? Benchmarking Strategic Resource Reallocation with Multi-Role Agent Simulation
作者: Yuyang Dai, Xueqing Peng, Lingfei Qian, Zhuohan Xie
分类: cs.AI
发布日期: 2026-06-16
备注: 13 pages
💡 一句话要点
提出CEO-Bench以评估LLMs在战略资源重新分配中的决策能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 高管决策 资源重新分配 多角色代理 战略校准 信息不对称 组织约束 决策评估
📋 核心要点
- 现有评估方法主要关注孤立的认知任务，未能捕捉真实高管决策中的信息不对称和组织约束等复杂性。
- 本文提出CEO-Bench基准，通过多角色代理模拟，评估LLMs在资源重新分配中的决策能力，整合来自不同顾问的冲突建议。
- 实验表明，尽管所有模型在结构有效性上表现良好，但在战略校准能力上存在显著差异，揭示了LLMs的系统性失败模式。
📝 摘要（中文）
评估大型语言模型（LLMs）的决策能力已成为研究重点，但现有基准主要集中在孤立的认知任务上，忽视了真实高管决策中的挑战。本文提出了CEO-Bench，一个多代理基准，评估LLMs在CEO级别的战略资源重新分配中的表现。LLM代理需整合来自四位角色条件的C-suite顾问（CFO、CTO、COO、CMO）的冲突建议，并制定具体的资源分配计划。实验结果显示，尽管所有模型在结构有效性上表现良好，但在战略校准上存在显著差异，揭示了LLMs作为组织决策者的能力边界。
🔬 方法详解
问题定义：本文旨在解决现有评估方法无法有效模拟高管决策中的复杂性，特别是信息不对称和多方利益冲突的问题。现有方法往往忽视了这些现实场景中的关键因素。
核心思路：提出CEO-Bench基准，通过多角色代理模拟，评估LLMs在面对来自不同顾问的冲突建议时的决策能力，强调角色整合和历史敏感性。
技术框架：整体架构包括四个主要模块：角色条件的C-suite顾问、LLM代理、资源分配计划生成和评估维度（角色整合、条件大胆性、历史敏感判断、计划有效性）。
关键创新：最重要的创新在于引入了多角色冲突建议的整合过程，评估LLMs在复杂决策环境中的表现，与现有方法相比，提供了更真实的决策场景。
关键设计：在模型设计中，采用了多轮决策机制，设置了不同顾问的优先级和私有信号，并设计了相应的评估指标，以确保模型在多维度上进行有效评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有模型在结构有效性上均表现良好，但在战略校准能力上存在显著差异，揭示了如单顾问捕获、模糊下的保守默认和历史遗忘等系统性失败模式。这些发现为未来AI辅助高管系统的设计提供了重要参考。
🎯 应用场景
该研究的潜在应用领域包括企业管理、战略决策支持系统和AI辅助的高管决策工具。通过提升LLMs在复杂决策环境中的表现，未来可能推动AI在企业管理中的广泛应用，提升决策效率和准确性。
📄 摘要（原文）
Evaluating the decision-making capabilities of large language models (LLMs) is a growing research priority, yet existing benchmarks focus on isolated cognitive tasks such as reasoning, knowledge retrieval, and economic rationality in stylized settings. These evaluations overlook the defining challenge of real executive decision-making: integrating conflicting recommendations from specialized stakeholders under information asymmetry, organizational constraints, and temporal dependencies. We introduce \textsc{CEO-Bench}, a multi-agent benchmark that evaluates LLMs on CEO-level strategic resource reallocation -- the process of redirecting capital across business units in a multi-round, constraint-rich organizational environment. In \textsc{CEO-Bench}, LLM agents receive conflicting advice from four role-conditioned C-suite advisors (CFO, CTO, COO, CMO), each with private signals and distinct priorities, and must synthesize these into a concrete allocation plan evaluated along four dimensions: role integration, conditional boldness, history-sensitive judgment, and plan validity. Experiments across five frontier models on 13 scenarios reveal that all models achieve high structural validity but diverge sharply on strategic calibration -- the hardest capability layer. We identify systematic failure modes including single-advisor capture, conservative default under ambiguity, and historical amnesia, and uncover a structural integration-boldness tradeoff: models that engage more deeply with conflicting perspectives tend to produce less decisive action. These findings delineate the current capability boundary of LLMs as organizational decision-makers and inform the design of future AI-assisted executive systems.