Reasoning for Social Audio-Visual Question Answering: Where Do We Stand?

📄 arXiv: 2608.13239v1 📥 PDF

作者: Koen P. de Vries, Xavier Alameda-Pineda, Estefanía Talavera, Stéphane Lathuilière

分类: cs.CV

发布日期: 2026-08-13

备注: Accepted at HCMIW ECCV workshop. Code available here: https://github.com/koenv759/VanillaSFT

💡 一句话要点

提出IntentBench-Prime以解决多模态社交理解中的噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态理解 社交智能 链式思维 数据集清理 监督微调 模型评估 性能优化

📋 核心要点

  1. 现有的多模态社交理解方法存在噪声问题，导致数据集中的问题质量不高，影响模型性能。
  2. 论文提出了IntentBench-Prime，移除了低质量问题，并展示了简单的Vanilla SFT模型在多个基准上的优越性。
  3. 实验结果表明，Vanilla SFT模型在成本上显著低于现有推理方法，同时在性能上不逊色，揭示了当前方法的局限性。

📝 摘要（中文）

训练多模态大型语言模型以实现音频-视觉社交理解是实现具身社交智能的重要一步。链式思维（CoT）推理已成为主流方法，HumanOmniV2及其IntentBench基准是重要参考。在此背景下，我们报告了三项发现。首先，IntentBench存在较高噪声：约7%的问题存在缺陷，约23%可以在没有视频输入的情况下轻松回答。我们移除了受影响的问题，并发布了Intentbench-Prime。其次，目前的推理方法成本高且效果令人惊讶地低效。简单的Vanilla SFT基线在三个基准上与现有推理方法相当或更优，且成本大幅降低，成为评估新微调技术的重要基线。最后，我们的分析表明，仅通过文本模态就可以学习到大量先验知识，使用文本标题而非视频的性能与Vanilla SFT相当。这些意外发现揭示了当前多模态大型语言模型在社交理解方面的局限性。IntentBench-Prime、Vanilla SFT模型及代码均已公开。

🔬 方法详解

问题定义：本论文旨在解决多模态社交理解中的数据集噪声问题，现有方法在推理效果和成本上存在不足，影响了模型的实际应用。

核心思路：通过发布IntentBench-Prime，移除低质量问题，并引入简单的Vanilla SFT模型作为基线，展示其在性能和成本上的优势。

技术框架：整体架构包括数据集清理、模型训练和性能评估三个主要模块。首先清理IntentBench数据集，去除噪声问题；然后训练Vanilla SFT模型；最后在多个基准上进行评估。

关键创新：最重要的技术创新在于提出了IntentBench-Prime数据集，并证明了简单模型在社交理解任务中的有效性，挑战了复杂推理方法的必要性。

关键设计：在模型设计中，采用了简单的监督微调（SFT）策略，优化了训练成本，且在损失函数和网络结构上保持了简洁性，以提高训练效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Vanilla SFT模型在三个基准上与现有推理方法的性能相当或更优，且训练成本显著降低，展示了其作为评估新微调技术的重要基线的潜力。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、智能助手和多模态交互系统等。通过提升社交理解能力，能够增强这些系统在实际应用中的互动性和智能化水平，推动人机交互的进步。

📄 摘要（原文）

Training Multimodal Large Language Models for audio-visual social understanding is a crucial step toward embodied social intelligence. Chain-of-thought (CoT) reasoning has become the dominant approach, with HumanOmniV2 and its IntentBench benchmark as a prominent reference point. In this context, we report three findings. First, IntentBench is highly noisy: $\sim$7% of questions are broken and $\sim$23% are trivially answerable without the video input. We remove the affected questions and release Intentbench-Prime. Second, current reasoning approaches are expensive and surprisingly ineffective. A simple Vanilla SFT baseline matches or outperforms existing reasoning methods across three benchmarks at a fraction of the cost, establishing it as an essential baseline for evaluating novel fine-tuning techniques. Third, our analysis reveals that substantial priors can be learned solely from the text modality and that using a textual caption instead of the video yields performance on par with Vanilla SFT. These surprising findings reveal the limitations of current MLLMs when it comes to social understanding. IntentBench-Prime, Vanilla SFT model, and code are publicly available.