OdysSim: Building Foundation Models for Human Behavior Simulation
作者: Xuhui Zhou, Weiwei Sun, Weihua Du, Jiarui Liu, Haojia Sun, Qianou Ma, Tongshuang Wu, Yiming Yang, Maarten Sap
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-12
备注: 34 pages. Code: https://github.com/sunnweiwei/OdysSim ; Models and data: https://huggingface.co/collections/cmu-lti/odyssim
💡 一句话要点
提出OdysSim以解决人类行为模拟中的一致性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类行为模拟 大型语言模型 多任务学习 强化学习 社交上下文
📋 核心要点
- 现有的大型语言模型在行为模拟中表现出同质化和过于一致的问题，导致与真实人类行为的差距。
- 论文提出OdysSim，通过SOUL分类法统一多个数据集和任务，构建大规模人类行为模拟模型。
- 实验结果显示，OdysSim模型在23个任务中有8个任务表现优异，尤其在对话和社会任务上显著提升，接近真实用户反应。
📝 摘要（中文）
大型语言模型越来越多地被用作人类模拟器进行互动评估和社会模拟。然而，基于帮助性的后训练使得这些模型趋向于同质化，导致行为的Sim2Real差距。我们提出OdysSim，这是对行为基础模型的最大规模开放系统研究，旨在模拟人类行为。我们提出了SOUL，一个统一62个数据集和23个基准任务的能力分类法，构建了OdysSim语料库（2140万次交互，100亿个标记），并开发了结合中期训练、任务特定强化学习和专家蒸馏的端到端训练方案。最终的8B OSim模型在23个任务中有8个任务排名第一或并列第一，尤其在对话和社会任务上表现出显著提升。
🔬 方法详解
问题定义：本论文旨在解决现有大型语言模型在行为模拟中存在的同质化问题，导致与真实人类行为的Sim2Real差距。现有方法在后训练过程中往往使得模型趋向于过于一致的助手角色，缺乏多样性和真实感。
核心思路：OdysSim通过构建SOUL分类法，整合多个数据集和任务，旨在提升模型在模拟人类行为时的多样性和真实性。该方法强调在训练过程中引入社交上下文，以增强模型的行为表现。
技术框架：整体架构包括OdysSim语料库的构建、SOUL-Index基准的开发，以及结合中期训练、任务特定的强化学习和专家蒸馏的端到端训练流程。模型通过这些模块的协同作用，提升了对话和社交任务的表现。
关键创新：最重要的技术创新在于SOUL分类法的提出和OdysSim语料库的构建，使得模型能够在多维度上评估和模拟人类行为。这一方法与现有的单一任务训练方法有本质区别，强调了多任务学习的必要性。
关键设计：在训练过程中，采用了中期训练策略和任务特定的强化学习，结合专家蒸馏技术，以优化模型的学习过程。此外，模型的参数设置和损失函数设计也经过精心调整，以确保在多任务环境下的最佳表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OdysSim模型在23个任务中有8个任务排名第一或并列第一，尤其在对话和社交任务上表现出显著提升。此外，模型在零样本转移到分布外用户模拟时，反应一致性达到93.2，接近真实用户的93.5，显示出其优越的模拟能力。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、虚拟助手和游戏中的人类行为模拟等。通过提升模型的行为多样性和真实性，OdysSim可以在用户交互中提供更自然的体验，推动人机交互的进步。未来，该研究可能对社会模拟和人类行为理解产生深远影响。
📄 摘要（原文）
Large language models are increasingly deployed as human simulators for interactive evaluation and social simulation. Yet helpfulness-driven post-training pulls them toward a homogeneous, overly agreeable assistant register, creating a behavioral Sim2Real gap. We present OdysSim, the largest open systematic investigation of behavioral foundation models, i.e., models trained to simulate human behavior at scale. We propose SOUL, a taxonomy of five capability axes (CONV, SS, COG, ROLE, EVAL) that unifies 62 datasets and 23 benchmark tasks under one framework. Specifically, we curate the OdysSim corpus (21.4M interactions, 10B tokens, retrofitted with back-generated social contexts), construct the SOUL-Index benchmark, and develop an end-to-end training recipe combining midtraining, task-specific RL, and expert distillation. The resulting open 8B OSim model ranks first or tied-first on 8 of 23 tasks, outperforming any individual frontier model by this count, with the strongest gains on conversational and social tasks. Its outputs are also more human-like in length, formatting, and word choice, and it transfers zero-shot to out-of-distribution user simulation on $τ$-bench, nearly matching real users on reaction alignment (93.2 vs. 93.5). We further show that LLM-as-judge RL induces reward-hacking patterns, and that our detectors can mitigate them during post-training. Together, our findings suggest that behavioral foundation models require rethinking the LLM training paradigm. We release all artifacts to support future research.