Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

📄 arXiv: 2607.25961v1 📥 PDF

作者: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

分类: cs.CV, cs.AI

发布日期: 2026-07-28

备注: 14 Pages, 1 Figure, Ambivalence/Hesitancy (AH) Video Recognition Challenge, ECCV 2026

💡 一句话要点

提出PRISM-AH框架以解决视频级别的模糊性与犹豫性识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模糊性识别 犹豫性识别 多模态分析 视频理解 知识引导模型

📋 核心要点

  1. 现有方法在视频级别识别模糊性与犹豫性（A/H）时面临挑战，因其信号在多模态中存在矛盾且个体表现差异大。
  2. 提出的PRISM-AH框架将A/H视为随时间展开的多模态冲突，结合视觉、音频和文本信息进行综合分析。
  3. 在525个标注视频的测试中，PRISM-AH达到了0.6133的宏观F1分数，相较于零样本基线的0.2827有显著提升。

📝 摘要（中文）

模糊性和犹豫性（A/H）是影响健康行为改变的矛盾情感状态，其识别在视频级别上面临挑战。由于面部、声音、语言和身体模态之间的矛盾信号，A/H的表现因个体而异。本文提出的PRISM-AH框架将A/H视为随时间展开的多模态冲突，通过对齐的视觉、音频和文本编码器，利用轻量级流模型评分跨模态不和谐，预测下一时间窗口并发现行为原型。模型在密集的窗口级注释下进行监督，决策阈值经过宏观F1校准。最后，知识引导的大语言模型对结构化证据进行推理，验证性能提升后再进行融合。

🔬 方法详解

问题定义：本文旨在解决视频级别模糊性与犹豫性（A/H）的识别问题。现有方法难以处理多模态信号中的矛盾，导致识别效果不佳。

核心思路：PRISM-AH框架将A/H视为时间上展开的多模态冲突，通过对齐的视觉、音频和文本编码器，利用轻量级流模型进行综合分析和预测。

技术框架：该框架包括多个主要模块：首先，冻结的视觉、音频和文本编码器被对齐到短时间窗口；然后，数据被输入到轻量级流模型中，进行跨模态不和谐评分和行为原型发现；最后，知识引导的大语言模型对结构化证据进行推理。

关键创新：最重要的创新在于将多模态冲突视为动态过程，并通过知识引导的推理模型提升识别性能，这与传统静态分析方法有本质区别。

关键设计：模型采用密集窗口级注释进行监督，决策阈值经过宏观F1校准，确保模型在不同数据集上的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在525个标注视频的测试中，PRISM-AH框架实现了0.6133的宏观F1分数，相较于零样本基线的0.2827提升了约117%。这一显著的性能提升验证了模型在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、行为干预和个性化医疗等。通过准确识别个体的模糊性与犹豫性，能够为健康行为改变提供更有针对性的干预措施，提升健康管理的有效性和个性化水平。

📄 摘要（原文）

Ambivalence and hesitancy (A/H) are conflicting affective states that precede the delay or abandonment of health behaviour change. Recognition of A/H at the video level is difficult, since the signal arises from disagreement across and within facial, vocal, linguistic, and bodily modalities, and manifests differently across individuals. The proposed PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition), is a framework that treats A/H as a multimodal conflict that unfolds over time. Frozen vision, audio, and text encoders are aligned into short time windows and passed to a lightweight streaming model that scores cross-modal dissonance, predicts each next window to expose a hesitation surprise signal, discovers behaviour prototypes, and is conditioned on participant metadata. Dense window-level annotations supervise the model as an auxiliary objective, and the decision threshold is calibrated for macro F1. A knowledge-guided large language model then reasons over structured evidence using the expert cue taxonomy of the dataset, and its verdict is fused late only when validation performance improves. On the labelled public test partition of 525 videos, PRISM-AH attains a macro F1 of 0.6133, compared to the reported zero-shot baseline of 0.2827. The reasoning gain is validated to transfer from validation to the larger test partition.