Will Scaling Improve Social Simulation with LLMs?
作者: Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang
分类: cs.CL
发布日期: 2026-07-05
💡 一句话要点
探讨规模扩展对社会模拟的影响与改进
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会模拟 规模法则 行为模拟 意见建模 纵向预测 计算规模 模型评估
📋 核心要点
- 现有的大型语言模型在社会模拟中的忠实度不足，限制了其广泛应用。
- 论文通过规模法则研究LLM的计算规模与社会模拟忠实度之间的关系，提出了新的研究方向。
- 实验结果显示，行为和意见模拟任务在规模扩展下表现出显著改善，但纵向预测和低资源领域的任务提升有限。
📝 摘要（中文）
大型语言模型（LLM）在社会模拟中的应用前景广阔，但目前尚未达到广泛采用的忠实度。本文研究了当前语言建模中的规模扩展是否能够缩小这些差距，或模拟的忠实度是否与一般能力无关，值得更多研究关注。通过对三种代表性子领域（意见建模、行为模拟和纵向预测）进行规模法则分析，发现计算规模在所有设置中均表现出强大的扩展性。我们评估了35个更大且更强的开放权重模型，结果表明大多数行为和意见模拟任务会随着规模的增加而迅速改善，尤其是在与英语网络语料库中良好代表的人群相关的任务上。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在社会模拟中的忠实度不足问题，现有方法在不同子领域的表现差异显著。
核心思路：通过分析规模法则，探讨计算规模与模拟忠实度之间的关系，评估不同模型在多种任务中的表现。
技术框架：研究使用了85个基于Qwen3架构的变换器LLM，预训练于DCLM网络文本语料库，计算预算从$10^{18}$到$10^{20}$ FLOPs，随后评估35个更大模型的表现。
关键创新：发现计算规模在行为和意见模拟任务中表现出强大的扩展性，尤其是在与英语网络语料库中人群相关的任务上，提出了新的研究视角。
关键设计：实验中使用了固定的计算预算和多种模型参数设置，分析了模型在不同任务下的损失与准确率之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，行为和意见模拟任务在模型规模扩展时表现出显著提升，尤其是在与英语网络语料库相关的人群任务中，准确率有显著改善。然而，纵向预测和低资源领域的任务提升较慢，显示出模型在不同任务中的表现差异。
🎯 应用场景
该研究为社会模拟领域提供了新的视角，尤其是在利用大型语言模型进行意见建模和行为预测方面。未来可在社会科学、市场研究和政策制定等领域应用，帮助更好地理解和预测人类行为。
📄 摘要（原文）
Large Language Model (LLM) social simulations are a promising research method, but they are not yet faithful enough to be adopted widely. In this work, we investigate whether the current scaling paradigm in language modeling is likely to close these gaps, or whether simulation fidelity is orthogonal to general capabilities and therefore deserving of more research attention. We use scaling laws to study the relationship between LLMs' compute scale, general capability benchmarks, and the fidelity of social simulation in three representative sub-domains: opinion modeling, behavioral simulation, and longitudinal forecasting. Surprisingly, we discover strong compute scaling in all three settings, using a suite of 85 transformer LLMs with the Qwen3 architecture pre-trained on the DCLM web text corpus under fixed-compute budgets from $10^{18}$ to $10^{20}$ FLOPs. Then we evaluate 35 larger and more capable open-weight models up to 70B parameters, allowing us to predict downstream accuracy from loss. This reveals that the majority of behavioral and opinion simulation tasks will rapidly improve with scale, particularly when they involve populations that are well-represented in English web corpora. Longitudinal forecasting and underrepresented opinions scale more slowly, especially when they are less correlated with general knowledge and reasoning benchmarks like MMLU. In behavior simulation, scaling fails to improve model calibration with human cognitive biases like risk aversion, as well as human heuristics like learning correlated rewards from related tasks. On these tasks, even fine-tuned models fail to noticeably scale up performance from 0.5B to 8B parameters. Taken together, we conclude that scale will improve social simulations in most settings, but outliers exist, and improvements will be less reliable in low-resource domains.