Diverse by Reasoning: Harnessing the Wisdom of LLM Crowds for Future Prediction
作者: Nirupam Chetlapalli, Yiming Liao, Min-Chun Chen, Keke Chen
分类: cs.AI
发布日期: 2026-08-25
备注: 13 pages, 4 figures, 5 tables. Submitted to IEEE BigData 2026
💡 一句话要点
提出行为感知框架以构建多样化的LLM预测群体
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 未来预测 行为聚类 模型多样性 智慧众包 推理轨迹 K-means++ 集体预测
📋 核心要点
- 现有方法在增加模型数量时未能有效提升预测多样性，导致冗余行为的出现。
- 提出的行为感知框架通过推理轨迹特征化模型，聚类并选择代表模型以实现多样性。
- 实验结果显示，基于K-means++聚类的三模型中位数群体在性能上显著优于传统方法，且大幅降低了推理成本。
📝 摘要（中文）
大型语言模型（LLMs）在未来预测中应用日益广泛，促使使用多模型作为智慧众包机制。然而，简单增加模型数量并不一定能有效提高多样性，因为不同的LLMs可能表现出冗余行为。本文提出了一种行为感知框架来构建多样化的LLM群体。该框架通过独立开发任务上的推理轨迹对模型进行特征化，按行为相似性对模型进行聚类，并选择代表模型进行集体预测。实验结果表明，基于K-means++行为聚类的三模型中位数群体在两个预测基准上优于传统投票方法，同时减少了88%的模型调用和约80%的推理成本。
🔬 方法详解
问题定义：本文旨在解决在未来预测中，现有LLM群体因冗余行为而导致的多样性不足的问题。简单增加模型数量并不能有效提升预测性能。
核心思路：提出了一种行为感知框架，通过分析模型在独立任务上的推理轨迹来特征化模型，进而聚类并选择具有代表性的模型进行集体预测，以实现有效的多样性。
技术框架：该框架包括三个主要模块：模型特征化、行为聚类和代表模型选择。首先，通过推理轨迹对模型进行特征化；然后，使用K-means++算法进行行为聚类；最后，从每个聚类中选择代表模型进行预测。
关键创新：最重要的创新在于引入了行为感知的聚类方法，强调了代表性行为多样性的重要性，而不仅仅是模型数量的增加。这一方法显著提升了预测性能。
关键设计：在聚类过程中，采用K-means++算法来优化模型选择，确保选择的模型在行为上具有代表性。此外，设计了相应的损失函数以平衡模型的多样性与预测准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于K-means++聚类的三模型中位数群体在两个未来预测基准上均优于传统的投票方法，且模型调用减少了88%，推理成本降低约80%。这一结果强调了群体组成的重要性，超越了单纯增加模型数量的传统思路。
🎯 应用场景
该研究的潜在应用领域包括金融预测、气候变化建模和市场趋势分析等。通过构建多样化的LLM群体，可以在这些领域中提高预测的准确性和可靠性，进而为决策提供更有力的支持。未来，随着LLM技术的不断发展，该方法可能会在更多实际场景中得到应用，推动智能决策的进步。
📄 摘要（原文）
Large language models (LLMs) are increasingly used for future prediction, motivating the use of multiple models as a wisdom-of-the-crowd mechanism. However, simply increasing crowd size does not guarantee effective diversity, as different LLMs may exhibit redundant behaviors. We propose a behavior-aware framework for constructing diverse LLM crowds. The framework characterizes models using their reasoning traces on independent development tasks, clusters models by behavioral similarity, and selects representatives for collective prediction. We evaluate 25 LLMs using seven development benchmarks for behavioral diversity modeling and two future-prediction benchmarks for evaluating diverse crowds' performance. Our results show that crowd composition can matter more than crowd size: a three-model medoid crowd based on K-means++ behavioral clustering outperforms conventional voting over all 25 models on both prediction benchmarks, while reducing model calls by 88% and inference cost by approximately 80%. The results further suggest that representative behavioral diversity, rather than simply maximizing diversity, is important for constructing effective LLM crowds