AffToM: Benchmarking Recursive Affective Theory of Mind in Dynamic Multi-Party Interactions
作者: Jinpeng Hu, Yiduo Jin, Erqiang Wang, Jia Li, Jingjing Wu, Peipei Song
分类: cs.AI
发布日期: 2026-11-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出AffToM基准以解决动态多方互动中的情感推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感推理 递归理论 多方互动 动态信息 社交机器人 强化学习 多模态情感
📋 核心要点
- 现有方法主要研究高阶认知理论和多模态情感推理，递归情感推理在动态信息下的研究相对不足。
- 本文提出AffToM基准，评估个体情感推理和多方情感推理，利用动态角色互动图捕捉事件和心理状态变化。
- 实验结果显示，MPAR任务仍具挑战性，AffToM-R1在基模型上提高了13.38%的准确率，显示出显著的性能提升。
📝 摘要（中文）
理解现实社交互动中的情感不仅仅依赖于面部表情或情感标签的分配。相同事件可能因参与者的知识、信念和情感的不同而引发不同的情感反应。现有基准主要关注高阶认知理论（ToM）和多模态情感推理，未能深入探讨在不对称和动态变化的信息下的递归情感推理。因此，本文提出了AffToM基准，包含1922个测试对和19759个训练对，评估个体情感推理（IAR）和多方情感推理（MPAR）。我们开发了一个基于动态角色互动图的事件驱动多代理生成管道，明确捕捉事件序列、人际关系和心理状态更新。此外，提出了AffToM-R1，一个结合监督微调与视角感知的强化学习的两阶段后训练框架。实验表明，MPAR仍具挑战性，最强的MLLM模型准确率不足60%，而AffToM-R1在基模型基础上提高了13.38个百分点的MPAR准确率。
🔬 方法详解
问题定义：本文旨在解决在动态多方互动中，如何有效进行递归情感推理的问题。现有方法未能充分考虑信息的不对称性和动态变化带来的挑战。
核心思路：提出AffToM基准，通过个体情感推理和多方情感推理的结合，递归追踪参与者的信念和情感，适应新的证据。
技术框架：整体架构包括事件驱动的多代理生成管道，主要模块包括动态角色互动图、事件序列捕捉和心理状态更新。
关键创新：最重要的创新在于引入了递归情感推理的概念，并通过动态角色互动图明确捕捉事件和心理状态的变化，与现有方法相比，提供了更全面的情感理解能力。
关键设计：在AffToM-R1中，采用了两阶段的后训练框架，结合监督微调和视角感知的强化学习，优化了模型的训练过程，提升了MPAR的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管MPAR任务具有挑战性，最强的MLLM模型准确率仍不足60%。然而，AffToM-R1通过引入两阶段后训练框架，成功将MPAR的准确率提高了13.38个百分点，显示出显著的性能提升。
🎯 应用场景
该研究在社交机器人、情感计算和人机交互等领域具有广泛的应用潜力。通过提高对多方互动中情感的理解，能够增强机器人在复杂社交场景中的表现，提升用户体验和交互质量。未来，该基准可为情感推理模型的开发和评估提供重要参考。
📄 摘要（原文）
Understanding emotion in realistic social interactions requires more than recognizing facial expressions or assigning affective labels. The same event can elicit different emotions depending on what each participant knows, what they believe others know or feel, and how these nested mental states evolve over time. Existing benchmarks largely study higher-order epistemic Theory of Mind (ToM) and multimodal emotion reasoning in isolation, leaving recursive affective reasoning under asymmetric and dynamically changing information underexplored. Therefore, we introduce AffToM, a benchmark for affective ToM with 1,922 test pairs and 19,759 training pairs. AffToM evaluates Individual Affective Reasoning (IAR), which infers emotions from events and socio-cognitive context, and Multi-party Affective Reasoning (MPAR), which recursively tracks participants' nested beliefs and emotions as new evidence emerges. We develop an event-driven multi-agent generation pipeline grounded in dynamic character interaction graphs that explicitly capture event sequences, interpersonal relations, and mental-state updates. Furthermore, we propose AffToM-R1, a two-stage post-training framework combining supervised fine-tuning with perspective-aware rubric-guided reinforcement learning. Experiments show that MPAR remains challenging, with even the strongest evaluated MLLM achieving less than 60% accuracy, while AffToM-R1 improves MPAR accuracy by 13.38 percentage points over its base model. Our dataset is available at: https://github.com/MindIntLab-HFUT/AffToM.