Using Cognitive Models to Improve Language Model Simulation of Human Persuasion Games
作者: Zirui Cheng, Zeyu Shen, Thomas L. Griffiths, Peter Henderson
分类: cs.AI
发布日期: 2026-06-16
💡 一句话要点
提出方程到行为提示以改善语言模型的人类说服游戏模拟
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 人类决策 说服游戏 认知模型 强化学习 贝叶斯更新 数学模型
📋 核心要点
- 现有大型语言模型在模拟人类决策时未能充分覆盖多样化的行为模式，导致安全评估和训练的局限性。
- 论文提出方程到行为提示的方法，通过数学模型指导语言模型的行为，旨在更好地模拟人类的决策过程。
- 实验结果表明，强化学习训练的小型模型在信念误差上减少了26.5%，并且在多样化决策者的训练中提升了2.5%-12%的平均信念变化。
📝 摘要（中文）
人们在战略互动中的决策方式各不相同，有些人像贝叶斯那样更新信念，而另一些人则表现出动机推理等偏见。尽管大型语言模型的创建者使用模拟人类进行安全评估和训练，但往往未能涵盖人类行为的广度。本文提出了一种名为方程到行为提示的方法，以指导大型语言模型匹配认知模型，并在基于法律决策的说服游戏中评估该方法。研究发现，大型模型能够通过提示近似方程基础的规范，而小型模型则无法实现。然而，通过强化学习训练小型模型遵循数学规则，能够在分布外参数化中减少26.5%的信念误差。该研究为训练和评估提供了更真实的环境，推动了对更复杂人类决策数学模型的研究。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在模拟人类决策时的局限性，尤其是在多样化行为模式的覆盖不足问题。现有方法未能有效捕捉人类在战略互动中的复杂决策过程。
核心思路：提出方程到行为提示的方法，利用认知科学和经济学中的数学模型来指导语言模型的行为，使其更接近真实人类决策。通过这种方式，模型能够更好地模拟不同的决策者行为。
技术框架：整体架构包括方程到行为提示模块和强化学习训练模块。前者用于将数学模型转化为语言模型的行为指导，后者则通过强化学习优化小型模型的决策过程。
关键创新：最重要的创新在于结合认知模型与语言模型的训练，通过方程到行为提示实现了对人类决策行为的更精确模拟。这一方法与传统的单一贝叶斯更新方法有本质区别。
关键设计：在训练过程中，采用了特定的损失函数来优化模型的信念更新过程，并设计了适应不同决策者类型的参数设置，以提高模型的适应性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，强化学习训练的小型模型在信念误差上减少了26.5%，并且在考虑不同决策者类型的训练中，平均信念变化提升了2.5%-12%。这些结果表明，方程到行为提示方法显著改善了模型的决策能力。
🎯 应用场景
该研究的潜在应用领域包括人工智能安全评估、智能助手的决策支持系统以及法律决策模拟等。通过更真实的人类行为模拟，可以提升模型在复杂环境中的表现，推动相关领域的研究与应用发展。
📄 摘要（原文）
People make decisions differently in strategic interactions. Some update beliefs like a Bayesian; others exhibit biases like motivated reasoning. Although creators of large language models use simulated humans for safety evaluations and training, they often fail to cover this breadth of human behavior. We argue that cognitive science and economics provide a convenient tool for doing so, making use of mathematical models of human decision-making. We propose an approach that we call Equation-to-Behavior Prompting for guiding large language models to match cognitive models, and evaluate this approach on persuasion games based on legal decision-making. We find that large models can approximate equation-based specifications -- Bayesian updating, affine distortion, motivated updating, and Grether's $α$-$β$ model -- using prompting, but small models fail to do so. However, training small models with reinforcement learning to adhere to mathematical rules, Equation-to-Behavior RL, reduces belief error by 26.5% in out-of-distribution parameterizations. We show that these simulations can help create diverse training environments; training small models to consider different kinds of decision-makers improves average belief change by 2.5%--12% over Bayesian-only training, even when persuading GPT-5-mini. Our work could improve human simulations for training and evaluation in increasingly realistic settings, and could also enable novel research into more complicated mathematical models of human decision-making.