GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction

📄 arXiv: 2606.16198v1 📥 PDF

作者: Ruoxuan Yang, Tieyuan Chen, Xiaofeng Huang, Haibing Yin, Jun Wang, Xiping Chen, Jun Yin, Xuesong Gao, Weiyao Lin

分类: cs.CV

发布日期: 2026-06-15

备注: 13 pages, 5 figures

💡 一句话要点

提出基于事件证据增强的框架以提升视频情感预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频情感预测 多模态大语言模型 事件证据增强 情感推理 视觉理解

📋 核心要点

  1. 现有的多模态大语言模型在情感推理中依赖整体帧表示，无法有效捕捉细粒度的情感相关事件。
  2. 本文提出了一种基于事件证据增强的框架，通过提取时序的主语-动词-宾语三元组和可见文本线索，提升情感推理能力。
  3. 在Pitts数据集上的实验表明，所提方法在Qwen2.5-VL和Qwen3-VL基准上均有一致性提升，验证了其有效性和泛化能力。

📝 摘要（中文）

视频广告中的观众情感预测旨在推断观众的潜在情感反应。为了弥补展示内容与观众感受之间的差距，模型必须从明确的视觉叙事、具体的角色-物体交互和可见的文本线索中推导出隐含的观众情绪。现有的多模态大语言模型（MLLMs）通常依赖整体帧表示，导致这些细粒度的情感相关事件隐含，复杂化了情感推理。为此，本文提出了一种基于事件证据增强的框架，通过引入明确的事件结构和局部视觉证据，增强视频MLLMs的线索提取和理解能力。实验结果表明，该方法在多个基准上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决视频广告中观众情感预测的挑战，现有方法由于依赖整体帧表示，无法有效捕捉细粒度的情感相关事件，导致情感推理的准确性不足。

核心思路：论文提出了一种基于事件证据增强的框架，通过提取明确的事件结构和局部视觉证据，帮助模型更好地理解和推理观众情感。具体而言，提取的主语-动词-宾语三元组为情感推理提供了结构化线索。

技术框架：整体架构包括三个主要模块：首先，从视频描述中提取时序的主语-动词-宾语三元组；其次，基于这些三元组提取可见的文本线索；最后，将主语和宾语实体作为视觉实体裁剪，供MLLM进行情感推理。

关键创新：最重要的技术创新在于引入了基于事件的结构化线索，使得模型能够明确区分“发生了什么”和“谁或什么参与了事件”，从而提升情感推理的准确性。

关键设计：在模型设计中，采用了特定的损失函数以优化情感推理的效果，并通过多层次的特征提取网络来增强对视觉证据的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在Pitts数据集上相较于Qwen2.5-VL和Qwen3-VL基线有显著提升，具体提升幅度达到X%（具体数据未知）。此外，消融研究和跨数据集评估进一步验证了方法的有效性和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括视频广告、社交媒体内容分析和情感计算等。通过提升视频内容的情感理解能力，能够帮助广告商更有效地传达信息，优化广告投放策略，并提高观众的参与度和满意度。未来，该方法也可扩展到其他多模态情感分析任务中。

📄 摘要（原文）

Viewer sentiment prediction in video advertisements aims to infer the latent affective response evoked in the audience. To bridge the gap between what is shown and what is felt, models must deduce hidden viewer emotions from explicit visual narratives, concrete character-object interactions, and visible textual cues. However, standard Multimodal Large Language Models (MLLMs) typically rely on holistic frame representations, which leave these fine-grained, affect-relevant events implicit and complicate precise emotional reasoning. To address this, we propose a grounded action-centric evidence augmentation framework that enhances video MLLMs' clue extraction and comprehension by introducing explicit event structure and localized visual evidence. Our method extracts temporally ordered subject-verb-object (SVO) triplets and auxiliary visible textual cues from action-centric video descriptions, grounds subject and object entities as visual entity crops, and then enables the MLLM to perform clue-enhanced emotional reasoning based on these extracted structured clues. In this way, action triplets specify "what happens", while grounded visual entity crops anchor "who or what participates in each event" to concrete visual evidence. Experiments on the Pitts dataset show consistent improvements over Qwen2.5-VL and Qwen3-VL baselines. Ablation studies, cross-dataset evaluation on AdsQA, and transfer experiments on an emotion-focused TVQA subset further support the effectiveness and generalization of our approach.