Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

📄 arXiv: 2606.27909v1 📥 PDF

作者: Avni Mittal

分类: cs.CL, cs.AI, cs.GT, cs.MA

发布日期: 2026-06-26

💡 一句话要点

提出三方狼人游戏以增强大型语言模型的多跳心智理论能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 多方推理 大型语言模型 社交推理 游戏AI 自学习机制

📋 核心要点

  1. 现有的心智理论评估方法主要依赖二元社交推理游戏，无法有效模拟复杂的多方对抗情境。
  2. 本文提出了引入小丑角色的三方狼人游戏，通过反向效用设计，促进多跳推理能力的提升。
  3. 实验结果显示，小丑在游戏中的胜率高达60-70%，而狼人胜率始终低于20%，展现了新方法的有效性。

📝 摘要（中文）

大型语言模型的心智理论评估通常依赖于二元社交推理游戏，其中每个可观察线索指向单一隐藏方。因此，具有强语言先验的模型可以在不模拟对手动机的情况下表现良好。本文通过引入小丑这一第三方角色扩展了狼人游戏，其效用在同伴怀疑中是反向的，因为小丑通过被投票出局获胜，最优策略需要在三种对立的效用函数中进行推理。在对GPT-4.1、DeepSeek-V3.1和Llama-3.3-70B进行的60场游戏中，小丑的胜率为60-70%，而狼人从未超过20%。自学习对DeepSeek和Llama有帮助，但对GPT-4.1则有负面影响，成本落在村民身上。只有DeepSeek学会了在不显得故意可疑的情况下看起来可疑的微妙策略，并从循环中获得了最大收益。三方激励结构揭示了二元推理游戏无法显现的多智能体推理层面。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在心智理论评估中的局限性，特别是二元社交推理游戏无法有效模拟多方对抗的复杂性。

核心思路：通过引入小丑这一第三方角色，设计出一种新的三方狼人游戏，使得模型需要在三种对立的效用函数中进行推理，从而提升其多跳心智理论能力。

技术框架：整体架构包括游戏的设计、角色的效用函数定义、模型的训练与评估。主要模块包括小丑的策略学习、狼人和村民的互动机制，以及游戏结果的评估标准。

关键创新：最重要的技术创新在于引入小丑角色，改变了游戏的激励结构，使得模型必须考虑多方的动机和策略，从而提升了推理的复杂性和深度。

关键设计：在参数设置上，模型的自学习机制对不同角色的策略影响显著。损失函数设计考虑了多方效用的平衡，网络结构则采用了适应性学习策略，以便更好地捕捉复杂的推理关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，小丑在游戏中的胜率高达60-70%，而狼人从未超过20%。GPT-4.1在60-70%的游戏中选择在第一天投票小丑，这是一种自我挫败的行为。自学习机制对DeepSeek和Llama有积极影响，但对GPT-4.1则产生了负面效果，显示出不同模型在复杂推理中的表现差异。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、智能对话系统和游戏AI等，能够提升这些系统在复杂社交场景中的推理和决策能力。未来，随着多方推理能力的增强，这些模型可以更好地理解和预测人类行为，从而在实际应用中提供更为精准的互动体验。

📄 摘要（原文）

Theory-of-mind evaluations of large language models typically use dyadic social-deduction games, where every observable cue points to a single hidden side, so a model with strong language priors can score well without ever simulating opponents' incentives. We extend the Werewolf game with a Jester, a third faction whose utility on peer suspicion is inverted because it wins by being voted out, so optimal play requires reasoning across three opposing utility functions. Across 60 games on GPT-4.1, DeepSeek-V3.1, and Llama-3.3-70B with Jester self-learning on and off, the Jester wins 60-70% of games while Werewolves never exceed 20%, and GPT-4.1 wolves vote the Jester out on day 1 in 60-70% of games, a strictly self-defeating action. Self-learning helps DeepSeek and Llama but hurts GPT-4.1, with the cost landing on Villagers rather than Werewolves. Only DeepSeek learns the subtle strategy of looking suspicious without looking intentionally suspicious, and it gains the most from the loop. Triadic incentive structure exposes a layer of multi-agent reasoning that dyadic deduction games leave invisible.