SocialReasonBench: A Video-QA Benchmark for Social Reasoning with Counterfactual Narrative Videos
作者: Zheyu Huang, Zijing Shi, Haozhe Luo, Huadong Tang, Mingyu Liu, Meng Fang, Ling Chen
分类: cs.CL, cs.CV
发布日期: 2026-08-31
备注: Accepted to Findings of EMNLP 2026. 24 pages, 11 figures, 11 tables
💡 一句话要点
提出SocialReasonBench以解决视频社交推理评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 社交推理 多模态模型 反事实推理 因果推理 游戏叙事 问答基准
📋 核心要点
- 现有视频理解模型在社交推理方面的能力有限，尤其是在处理复杂的社交动态时表现不佳。
- 本文提出SocialReasonBench基准，通过游戏视频中的分支叙事场景，评估模型在社交推理中的表现。
- 实验结果显示，尽管模型在基本社交理解上表现合理，但在反事实和因果推理方面存在明显不足。
📝 摘要（中文）
近年来，大型多模态模型（LMMs）的进展显著提升了视频理解能力，但在处理人际社交情境推理方面仍存在局限。现有基准通常依赖于单一观察轨迹的视频，难以判断模型是否真正理解社交动态。为此，本文提出了SocialReasonBench，这是一个基于互动叙事的多选视频问答基准，旨在评估社会基础推理能力。该基准基于《底特律：成为人类》的游戏视频，利用分支故事情节，玩家的决策导致不同的社交结果。通过多代理策划流程，本文定位了具有社会意义的片段，并生成了理论指导的问题。实验表明，尽管模型在基本社交理解上表现良好，但在反事实和因果推理方面仍显不足。
🔬 方法详解
问题定义：本文旨在解决现有视频理解模型在社交推理方面的不足，尤其是如何有效评估模型对复杂社交情境的理解能力。现有基准多依赖单一轨迹，难以反映模型的真实推理能力。
核心思路：通过构建SocialReasonBench基准，利用互动叙事中的分支情节，设计多选问答任务，以评估模型在社交推理中的表现。该方法强调了玩家决策对社交结果的影响，提供了更丰富的评估场景。
技术框架：整体架构包括多代理策划流程，首先定位具有社会意义的片段，然后基于游戏状态信号生成问题和答案标签，最后设计具有诊断性的干扰项以测试模型的推理能力。
关键创新：最重要的创新在于利用游戏中的分支叙事结构，提供了多样化的社交情境，允许模型在不同的社交结果中进行推理。这种方法与传统的单一轨迹视频评估方法本质上不同。
关键设计：在设计过程中，关键参数包括多代理策划的策略、问题生成的理论指导，以及答案标签的游戏状态信号的准确性。这些设计确保了评估的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的多模态模型在基本社交理解任务上表现良好，得分达到70%以上，但在反事实和因果推理任务上仅达到50%左右，显示出明显的性能差距。这强调了模型在深层次社交推理方面的不足。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、智能助手和教育领域，能够帮助这些系统更好地理解和处理人际交互中的复杂情境。通过提升模型的社交推理能力，未来可以实现更自然的人机交互，增强用户体验。
📄 摘要（原文）
Recent advances in Large Multimodal Models (LMMs) have greatly improved video understanding, yet their ability to reason about human-centered social situations remains limited. Existing benchmarks typically rely on videos with a single observed trajectory, making it difficult to determine whether models truly understand social dynamics or merely exploit recurring narrative patterns. We introduce SocialReasonBench, a video multiple-choice QA benchmark for evaluating socially grounded reasoning in scenarios derived from interactive narratives. Built from gameplay videos of Detroit: Become Human, the benchmark leverages branching storylines where player decisions lead to alternative social outcomes that can be checked against the game's own script, flowchart, and recorded branches. We develop a multi-agent curation pipeline that localizes socially meaningful clips, grounds answer labels in game-state signals, and generates theory-guided questions with diagnostic distractors. SocialReasonBench covers seven reasoning dimensions, including intent recognition, emotional empathy, moral dilemma, counterfactual reasoning, and causal antecedent. Experiments on contemporary LMMs show that models perform reasonably well on basic social understanding but struggle with counterfactual and causal reasoning. Further ablation and diagnostic error analyses reveal that models often depend on incomplete modality cues and fall into reasoning traps such as visual shortcuts, highlighting a gap between observable event recognition and deeper reasoning over latent social states.