BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks

📄 arXiv: 2606.24162v1 📥 PDF

作者: Jin Huang, Yutong Xie, Wanli Song, Xingjian Zhang, Walter Yuan, Matthew O. Jackson, Qiaozhu Mei

分类: cs.CL, cs.LG

发布日期: 2026-06-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出BehaviorBench基准以评估行为科学任务中的基础模型表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为科学 基础模型 模型评估 分布对齐 心理学 社会学 经济学

📋 核心要点

  1. 现有基础模型在行为科学任务中的表现缺乏系统评估，尤其是在不同人群和情境下的有效性。
  2. 本文提出BehaviorBench基准，系统评估基础模型在行为预测、决策、特征推断和知识应用等方面的能力。
  3. 实验结果表明，经过行为数据微调的Be.FM-1.5在分布对齐指标上表现优异，显示出行为适应的重要性。

📝 摘要（中文）

基础模型在心理学、社会学和经济学等行为科学领域的应用日益增多。尽管这些模型在个别任务如调查响应预测和人类实验模拟中表现出色，但尚缺乏对其在多样化行为科学任务、情境和人群中的系统性理解。本文提出BehaviorBench，一个全面的基准，评估基础模型在行为预测与模拟、战略决策、主体特征推断和行为知识应用等四个核心能力上的表现。BehaviorBench不仅评估个体层面的准确性，还关注人群层面的对齐，强调行为有效性的重要性。通过BehaviorBench的任务，我们进一步开发了Be.FM-1.5，显示出行为基础模型在分布对齐方面的显著优势。

🔬 方法详解

问题定义：本文旨在解决基础模型在行为科学任务中的表现评估不足的问题，现有方法未能全面考虑个体与人群层面的有效性。

核心思路：通过构建BehaviorBench基准，系统评估基础模型在多种行为科学任务中的表现，特别关注分布对齐能力，以确保行为有效性。

技术框架：BehaviorBench包含四个核心模块：行为预测与模拟、战略决策、主体特征推断和行为知识应用，评估模型在个体和群体层面的表现。

关键创新：最重要的创新在于引入分布对齐评估，强调模型在群体层面的表现，填补了现有方法的空白。

关键设计：在模型微调过程中，采用了针对行为数据的特定损失函数和网络结构设计，以优化模型在行为科学任务中的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Be.FM-1.5在分布对齐指标上表现优异，领先于其他基础模型，并在个体层面保持竞争力。这表明经过适当的行为数据微调，基础模型能够在行为科学任务中实现显著提升。

🎯 应用场景

该研究的潜在应用领域包括心理学、社会学和经济学等行为科学研究，能够为行为科学中的AI系统开发提供基础评估工具。未来，BehaviorBench和Be.FM-1.5模型的应用将推动行为科学领域的智能化进程，提升研究的准确性和有效性。

📄 摘要（原文）

Foundation models have been increasingly applied to behavioral science domains such as psychology, sociology, and economics. While these models show promise in individual tasks such as survey response prediction and human-subject experiment simulation, there remains no systematic understanding of how well they perform across diverse behavioral science tasks, contexts, and populations. We introduce BehaviorBench, a comprehensive benchmark that evaluates foundation models along four core capabilities: (1) behavior prediction and simulation, (2) strategic decision-making, (3) subject-trait inference, and (4) behavioral knowledge application. Crucially, BehaviorBench evaluates model outputs at both the individual and distributional levels, capturing not only per-subject accuracy but also population-level alignment, an essential requirement for behavioral validity. Leveraging the tasks in BehaviorBench, we further develop Be.FM-1.5, extending the Be.FM family of behavioral foundation models fine-tuned on behavioral data. Our results reveal a considerable gap: proprietary general-purpose models excel at individual-level prediction and knowledge-intensive tasks, whereas behavioral foundation models, fine-tuned on behavioral data, achieve substantially stronger distributional alignment. Notably, Be.FM-1.5 leads on distributional metrics and remains competitive on individual-level metrics, suggesting that proper behavioral adaptation can close the gap. Our results highlight the importance of distributional evaluation, establish BehaviorBench as a foundation for developing and assessing behaviorally aligned AI systems, and demonstrate Be.FM-1.5's potential for a broad range of behavioral science studies. Our BehaviorBench and Be.FM-1.5 models can be accessed via https://umich-foreseer.github.io/behaviorbench/.