Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

📄 arXiv: 2606.31404v1 📥 PDF

作者: Justin Brenne, Christian Meske

分类: cs.AI

发布日期: 2026-06-30

备注: 18 pages, 0 figures, 6 tables, Accepted at ECIS 2026 (European Conference on Information Systems), Track: General Track, Paper No. ECIS2026-1499

💡 一句话要点

探讨大型语言模型中的人工群体智能以解决集体决策问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能 群体智能 大型语言模型 决策支持 聚合机制 元认知 实验研究

📋 核心要点

  1. 现有的人类群体智能在集体决策中表现出色，但在可扩展性方面存在成本和协调的挑战。
  2. 本文提出利用大型语言模型模拟人工群体智能，通过模型内部和模型间的聚合来提高决策准确性。
  3. 实验结果表明，聚合策略显著降低了估计误差，MAPE误差减少幅度最高达到37个百分点，验证了LLMs的有效性。

📝 摘要（中文）

人类群体智能展现出显著的集体准确性，但在成本、协调和时间上面临可扩展性限制。本文研究大型语言模型（LLMs）是否能够通过人工群体近似群体智能效应，填补对基于AI的聚合机制理解的关键空白。我们在三种专有模型（GPT-5、Gemini 2.5 Pro、Claude Sonnet 4.5）上进行了960个手动执行的提示的对照实验，测试了模型内部采样和模型间聚合在八个估计任务上的表现。结果显示，通过内部和外部模型聚合，误差显著降低，MAPE的误差减少幅度最高可达37个百分点。我们观察到相对置信区间宽度与相对估计误差之间存在小到大的正相关效应，表明LLMs在评估不确定性时具备元认知意识。我们讨论了研究和实践的意义，为在组织决策中部署LLM群体提供了可行的见解。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在集体决策中的聚合机制问题，现有方法在成本和协调上存在可扩展性限制。

核心思路：通过人工群体智能的视角，利用LLMs进行内部和外部聚合，以提高决策的准确性和效率。

技术框架：研究设计包括三个主要阶段：首先是模型的选择与提示的设计，其次是内部采样与外部聚合的实施，最后是结果的分析与评估。

关键创新：本研究的创新在于将人工群体智能的概念应用于LLMs，探索其在集体决策中的潜力，填补了AI聚合机制的研究空白。

关键设计：实验中使用了960个手动提示，涉及三种不同的模型，采用了多种聚合策略，评估了相对置信区间宽度与估计误差之间的相关性。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，通过内部和外部模型聚合，MAPE误差显著降低，最高可达37个百分点。相对置信区间宽度与相对估计误差之间的正相关性（Spearman's $ρ=0.242-0.568$，均$p<0.001$）进一步验证了LLMs的元认知能力。

🎯 应用场景

该研究的潜在应用领域包括企业决策支持、政策制定和复杂问题求解等。通过部署LLM群体，组织可以在面对不确定性时做出更为准确的决策，提升整体效率和效果。未来，随着技术的进步，LLM群体可能在更多领域发挥重要作用。

📄 摘要（原文）

Human swarm intelligence demonstrates remarkable collective accuracy but faces scalability constraints in cost, coordination, and time. We investigate whether large language models (LLMs) can approximate swarm intelligence effects through artificial swarms, addressing a critical gap in understanding AI-based aggregation mechanisms. We conducted a controlled experiment with 960 manually executed prompts across three proprietary models (GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5), testing intra-model sampling and inter-model aggregation on eight estimation tasks. Results reveal consistent error reduction through intra- and inter-model aggregation, with significant error reductions up to 37 percentage points in MAPE across different aggregation strategies. We observed small to large effect sizes for positive correlations (Spearman's $ρ=0.242-0.568$, all $p<0.001$) between relative confidence interval widths and relative estimation errors, suggesting LLMs possess metacognitive awareness when assessing uncertainty. We discuss implications for research and practice, providing actionable insights for deploying LLM swarms in organizational decision-making.