SocietyBench: Forecasting Counterfactual Social-World Evolution
作者: Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi
分类: cs.CL
发布日期: 2026-08-04
备注: Project page: https://co-minder.github.io/SocietyBench
💡 一句话要点
提出SocietyBench以评估社会事件预测能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社会事件预测 大型语言模型 反事实分析 时间线构建 舆情监测
📋 核心要点
- 现有的LLM评估主要集中在任务完成能力上，缺乏对其社会事件理解和预测能力的测量。
- 论文提出的SocietyBench通过构建时间线和预测问题，评估模型在社会事件预测中的表现。
- 实验结果显示，最强的LLM在预测能力上仅达到75.0分，强调了多事件评估的重要性。
📝 摘要（中文）
大型语言模型（LLMs）及其构建的代理在完成特定任务方面得到了广泛评估，但对其理解和预测真实社会事件的能力却鲜有测量。为此，本文提出了SocietyBench，一个端到端的基准测试，利用一行事件主题收集五个平台的网络新闻和社交媒体帖子，提炼成一个日期索引的时间线，分离事实事件和公众舆论层。每个时间线的截止日期转化为经过审计的预测问题，评分基于概率校准和时间准确性两个独立的100分轴。实验表明，六种前沿LLM中的最强者仅达到75.0分，显示出在多个事件上评估模型的重要性。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在理解和预测社会事件方面的评估不足，尤其是缺乏对模型预测能力的系统性测量。
核心思路：通过构建一个名为SocietyBench的基准测试，利用网络新闻和社交媒体数据生成时间线，并将其转化为经过审计的预测问题，从而评估模型的社会事件预测能力。
技术框架：整体流程包括三个阶段：首先收集事件相关的数据，构建日期索引的时间线；其次将每个事件的命名实体替换，并调整日期，形成反事实的社会世界；最后生成预测问题并进行评分。
关键创新：SocietyBench的创新在于将真实事件转化为反事实情境，使模型无法依赖于预训练记忆中的标签，从而更真实地评估其预测能力。
关键设计：在评分过程中，采用了两个独立的100分评分轴：概率校准和时间准确性，确保模型在不同维度上的表现都能被评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，六种前沿LLM中的最强者在预测能力上仅达到75.0分，远高于基线的50分。这表明在社会事件预测中，模型的表现存在显著差异，强调了多事件评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体分析、舆情监测和事件预测等。通过评估模型在社会事件预测中的表现，可以为未来的智能代理系统提供更可靠的决策支持，推动社会科学与人工智能的交叉研究。
📄 摘要（原文）
Large language models (LLMs), and the agents built on top of them, are now benchmarked heavily on whether they can finish a task -- fix a bug, drive a browser, operate a GUI. A complementary social ability, namely how well a model understands and forecasts the way real social events unfold, has barely been measured. We introduce SocietyBench, an end-to-end benchmark that takes a one-line event topic, collects Web news and social-media posts across five platforms, distills them into a date-indexed timeline that keeps factual events and a public-opinion layer separate, and then turns every cutoff date on that timeline into an audited bank of forecasting questions. Questions are scored on two orthogonal 100-point axes: probability calibration and temporal accuracy. Before any model sees a timeline, a three-phase procedure replaces every named entity and shifts every date by a per-event constant, turning a real arc into a counterfactual social world -- structurally identical to what happened, but stripped of the surface labels a model could match against pre-training memory. On five heterogeneous events and 125 prediction points in Chinese and English editions, the strongest of six frontier LLMs reaches only 75.0 out of 100, against a trivial anchor of 50. The two axes come apart: a model can be calibration-strong but time-weak, or the reverse. Three agent frameworks built on a shared base model fail to improve on that base, and two model-free heuristics trail every LLM. Per-event gaps reach 21.4 points on a single axis, which is our main argument for evaluating on several events rather than one. All anonymized timelines, question banks, ground truth, and scoring code are released.