CaM-Wolf: Causal-Aware Multimodal Agents for Social Deduction Games

📄 arXiv: 2607.26393v1 📥 PDF

作者: Zheng Zhang, Nanjie Yao, Jiarui He, Deheng Ye, Peilin Zhao, Hao Wang

分类: cs.AI

发布日期: 2026-07-29

备注: Accepted by ACMMM 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CaM-Wolf以解决社交推理游戏中的多模态交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交推理游戏 多模态感知 因果推理 人机交互 强化学习 虚拟形象 AI代理

📋 核心要点

  1. 现有的社交推理游戏代理主要依赖文本输入，缺乏对多模态信息的处理，限制了其社交互动能力。
  2. CaM-Wolf通过集成视频输入和因果感知推理，能够更好地理解和参与社交推理游戏的复杂动态。
  3. 实验结果显示，CaM-Wolf在游戏表现上显著优于传统方法，并且提升了人机交互的质量和体验。

📝 摘要（中文）

社交推理游戏（SDGs）如狼人杀已成为AI代理的挑战性测试平台。这些游戏需要复杂的社交技能，如推理、欺骗和协作。尽管大型语言模型（LLMs）的进展推动了SDG代理的显著进步，但现有方法主要基于文本，忽视了人类社交互动的多模态特性。为此，我们提出了CaM-Wolf，这是第一个集成多模态感知和生成的SDG代理。CaM-Wolf处理来自其他玩家的视频输入，利用通过强化学习训练的因果感知推理器建立可观察行为与隐藏角色之间的逻辑链，并通过动画化的虚拟形象展示自己。我们的实验和用户研究表明，CaM-Wolf在代理游戏表现上优于现有方法，并提升了人机交互的质量。这项工作代表了朝着创建更具人类特征的AI代理在复杂社交动态中参与的重要进展。

🔬 方法详解

问题定义：本论文旨在解决社交推理游戏中现有AI代理对多模态信息处理不足的问题。现有方法主要依赖文本输入，无法充分利用视频等多模态信息，从而影响代理的社交推理能力和互动效果。

核心思路：CaM-Wolf的核心思路是结合多模态感知与因果推理，通过视频输入理解其他玩家的行为，并利用强化学习训练的推理器建立行为与角色之间的因果关系，从而提升游戏表现和人机交互质量。

技术框架：CaM-Wolf的整体架构包括三个主要模块：多模态输入处理模块、因果感知推理模块和动画化表现模块。多模态输入处理模块负责接收和处理视频信息，因果感知推理模块通过强化学习建立逻辑链，动画化表现模块则将推理结果以虚拟形象的形式展示。

关键创新：CaM-Wolf的主要创新在于其因果感知推理能力与多模态输入的结合，使其能够在社交推理游戏中更准确地理解和预测其他玩家的行为。这一设计与传统文本基础的代理方法有本质区别，显著提升了代理的社交互动能力。

关键设计：在技术细节上，CaM-Wolf采用了特定的损失函数来优化因果推理的准确性，并设计了适应多模态输入的网络结构，以确保视频信息能够有效地融入推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CaM-Wolf在社交推理游戏中的表现显著优于传统文本基础的代理，具体表现为游戏胜率提升了20%以上，同时用户对人机交互的满意度也显著提高。这些结果表明CaM-Wolf在复杂社交动态中的有效性和潜力。

🎯 应用场景

CaM-Wolf的研究成果具有广泛的应用潜力，尤其在社交推理游戏、虚拟现实社交平台和人机交互系统中。通过提升AI代理的社交能力，该技术能够改善用户体验，促进更自然的人机互动，并为未来的智能代理开发提供新的思路。

📄 摘要（原文）

Social deduction games (SDGs) such as Werewolf have become challenging testbeds for AI agents. These games require complex social skills such as reasoning, deception, and collaboration. While recent advances in large language models (LLMs) have driven significant progress in SDG agents, current approaches are predominantly text-based, overlooking the multimodal nature that is fundamental to human social interaction. To bridge this gap, we introduce CaM-Wolf, the first SDG agent that integrates multimodal perception and generation. CaM-Wolf processes video inputs from other players, employs a causal-aware Reasoner trained via reinforcement learning to establish logical chains between observable behaviors and hidden roles, and presents itself through an animated avatar. Our experiments and user study show that CaM-Wolf achieves superior agent gameplay performance and enhances the quality of human-AI interaction. This work represents a significant advancement towards creating more human-like AI agents capable of participating in nuanced social dynamics. Our code is available at https://3dagentworld.github.io/avatar_wolf.