Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy

📄 arXiv: 2402.19379v6 📥 PDF

作者: Philipp Schoenegger, Indre Tuminauskaite, Peter S. Park, Philip E. Tetlock

分类: cs.CY, cs.AI, cs.CL, cs.LG

发布日期: 2024-02-29 (更新: 2024-07-22)

备注: 20 pages; 13 visualizations (nine figures, four tables)

💡 一句话要点

提出LLM集成预测方法以提升预测准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 集成学习 众智效应 预测准确性 人类预测 机器学习 模型聚合

📋 核心要点

  1. 现有研究表明，单个LLM的预测能力不及人类群体的聚合预测，存在准确性不足的问题。
  2. 本文提出通过集成12个LLM的预测结果，形成一个LLM集体，以此来提升预测准确性。
  3. 实验结果显示，LLM集体的预测性能与人类群体相当，且在引入人类预测信息后，准确性有显著提升。

📝 摘要（中文）

人类的预测准确性依赖于“众智效应”，即通过聚合多个个体预测来显著提高对未来事件的预测能力。本文通过使用12个大型语言模型（LLMs）的集成方法，比较了其在31个二元问题上的预测结果与925名人类预测者的表现。研究结果表明，LLM集体的预测性能超越了简单的无信息基准，并且在统计上与人类预测者的表现没有显著差异。此外，研究还发现LLM的预测准确性可以通过引入人类的中位数预测信息得到提升，提升幅度在17%到28%之间。这一研究表明，LLM在预测准确性上可以与人类群体相媲美，具有广泛的应用潜力。

🔬 方法详解

问题定义：本文旨在解决单个大型语言模型（LLM）在预测准确性上不及人类群体的问题。现有方法主要依赖单一模型，导致预测结果的准确性不足。

核心思路：通过集成多个LLM的预测结果，形成一个集体预测模型，以此利用“众智效应”来提升整体预测准确性。该方法的设计旨在通过多样化的模型输出，减少单一模型的偏差。

技术框架：研究采用了12个不同的LLM进行集成，首先对每个模型进行独立预测，然后将这些预测结果进行聚合，最终形成集体预测。实验中还引入了人类预测的中位数作为额外信息，以进一步提升模型的预测能力。

关键创新：最重要的创新在于将多个LLM的预测结果进行有效聚合，使得集体预测的准确性达到了与人类群体相当的水平。这一方法展示了LLM在预测任务中的新应用潜力。

关键设计：在模型集成过程中，采用了简单的平均策略来聚合预测结果。此外，实验中还对模型的输出进行了统计分析，以评估其准确性与人类群体的比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM集体的预测准确性超越了简单的无信息基准，并且与925名人类预测者的表现没有显著差异。此外，通过引入人类中位数预测，LLM的准确性提升了17%到28%。这一结果表明，LLM在预测任务中具有与人类群体相媲美的能力。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气候变化评估、公共政策制定等。通过利用LLM的集成预测能力，可以在多个社会领域中实现更高的决策准确性，提升预测的可靠性和有效性。未来，LLM的集成方法可能会被广泛应用于需要高准确性预测的场景。

📄 摘要（原文）

Human forecasting accuracy in practice relies on the 'wisdom of the crowd' effect, in which predictions about future events are significantly improved by aggregating across a crowd of individual forecasters. Past work on the forecasting ability of large language models (LLMs) suggests that frontier LLMs, as individual forecasters, underperform compared to the gold standard of a human crowd forecasting tournament aggregate. In Study 1, we expand this research by using an LLM ensemble approach consisting of a crowd of twelve LLMs. We compare the aggregated LLM predictions on 31 binary questions to that of a crowd of 925 human forecasters from a three-month forecasting tournament. Our preregistered main analysis shows that the LLM crowd outperforms a simple no-information benchmark and is not statistically different from the human crowd. In exploratory analyses, we find that these two approaches are equivalent with respect to medium-effect-size equivalence bounds. We also observe an acquiescence effect, with mean model predictions being significantly above 50%, despite an almost even split of positive and negative resolutions. Moreover, in Study 2, we test whether LLM predictions (of GPT-4 and Claude 2) can be improved by drawing on human cognitive output. We find that both models' forecasting accuracy benefits from exposure to the median human prediction as information, improving accuracy by between 17% and 28%: though this leads to less accurate predictions than simply averaging human and machine forecasts. Our results suggest that LLMs can achieve forecasting accuracy rivaling that of human crowd forecasting tournaments: via the simple, practically applicable method of forecast aggregation. This replicates the 'wisdom of the crowd' effect for LLMs, and opens up their use for a variety of applications throughout society.