Will Scaling Improve Social Simulation with LLMs?
作者: Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang
分类: cs.CL
发布日期: 2026-07-02
💡 一句话要点
探讨规模扩展对社会模拟的影响与改进
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会模拟 计算规模 行为模拟 意见建模 纵向预测 模型扩展 信度分析
📋 核心要点
- 现有的大型语言模型在社会模拟中的信度不足，限制了其广泛应用。
- 本文通过分析规模扩展对社会模拟信度的影响，探讨了其潜在的改进方向。
- 实验结果表明，行为和意见模拟任务在规模扩展时表现出显著提升，但某些任务的改进不明显。
📝 摘要（中文）
大型语言模型（LLM）在社会模拟中的应用前景广阔，但目前尚未达到广泛采用的信度。本文研究了当前语言建模中的规模扩展是否能够缩小这一差距，或是否模拟的信度与一般能力是正交的，值得更多研究关注。通过使用85个基于Qwen3架构的变换器LLM，分析了计算规模、一般能力基准与社会模拟信度之间的关系，发现大多数行为和意见模拟任务在规模扩展时会迅速提升，尤其是在英语网络语料库中表现良好的群体中。然而，纵向预测和代表性不足的意见扩展较慢，尤其是与一般知识和推理基准（如MMLU）相关性较低的任务。最终得出结论，规模在大多数情况下会改善社会模拟，但在低资源领域的改进不够可靠。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在社会模拟中的信度不足问题，现有方法在特定任务上表现不佳，尤其是在低资源领域。
核心思路：通过研究计算规模与社会模拟信度之间的关系，探讨规模扩展是否能有效提升模拟的准确性和可靠性。
技术框架：研究使用85个基于Qwen3架构的变换器LLM，分析其在不同计算预算下的表现，涵盖意见建模、行为模拟和纵向预测三个子领域。
关键创新：发现计算规模在大多数情况下能显著提升社会模拟的信度，尤其是在代表性强的群体中，提出了规模与信度之间的强相关性。
关键设计：实验中使用了固定计算预算（$10^{18}$到$10^{20}$ FLOPs），并评估了35个更大、更强的开放权重模型，参数规模最高达到70B，利用损失预测下游准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，行为和意见模拟任务在规模扩展时表现出显著提升，尤其是在与英语网络语料库中良好代表的群体相关的任务中，性能提升幅度明显。然而，纵向预测和代表性不足的意见任务的提升幅度较小，尤其是在与一般知识和推理基准相关性较低的情况下。
🎯 应用场景
该研究为社会模拟领域提供了新的视角，尤其是在政策制定、市场分析和社会行为预测等应用场景中，能够利用大型语言模型的能力进行更准确的模拟和预测。未来，随着模型规模的进一步扩大，可能会在低资源领域也实现更好的性能。
📄 摘要（原文）
Large Language Model (LLM) social simulations are a promising research method, but they are not yet faithful enough to be adopted widely. In this work, we investigate whether the current scaling paradigm in language modeling is likely to close these gaps, or whether simulation fidelity is orthogonal to general capabilities and therefore deserving of more research attention. We use scaling laws to study the relationship between LLMs' compute scale, general capability benchmarks, and the fidelity of social simulation in three representative sub-domains: opinion modeling, behavioral simulation, and longitudinal forecasting. Surprisingly, we discover strong compute scaling in all three settings, using a suite of 85 transformer LLMs with the Qwen3 architecture pre-trained on the DCLM web text corpus under fixed-compute budgets from $10^{18}$ to $10^{20}$ FLOPs. Then we evaluate 35 larger and more capable open-weight models up to 70B parameters, allowing us to predict downstream accuracy from loss. This reveals that the majority of behavioral and opinion simulation tasks will rapidly improve with scale, particularly when they involve populations that are well-represented in English web corpora. Longitudinal forecasting and underrepresented opinions scale more slowly, especially when they are less correlated with general knowledge and reasoning benchmarks like MMLU. In behavior simulation, scaling fails to improve model calibration with human cognitive biases like risk aversion, as well as human heuristics like learning correlated rewards from related tasks. On these tasks, even fine-tuned models fail to noticeably scale up performance from 0.5B to 8B parameters. Taken together, we conclude that scale will improve social simulations in most settings, but outliers exist, and improvements will be less reliable in low-resource domains.