Learning to Deny: Action Denial in Multimodal Large Language Models
作者: Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat
分类: cs.CV
发布日期: 2026-06-30
备注: Accepted to ECCV 2026 main conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出UCF101-AD基准以解决多模态模型的动作否认问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 动作否认 视频理解 因果推理 UCF101-AD 深度学习 模型评估
📋 核心要点
- 现有多模态模型在视频理解中表现优异，但在识别动作未发生的能力上存在显著不足。
- 本文提出UCF101-AD基准，利用配对视频评估模型的动作否认能力，并引入因果图框架CausalAct进行推理。
- 实验结果显示，20种最先进的MLLMs在动作否认任务上的准确率低于50%，而引入因果提示后显著提升了模型性能。
📝 摘要（中文）
多模态大语言模型（MLLMs）在视频理解方面取得了显著进展，尤其是在零样本和少样本识别上。然而，它们在识别何时某个动作并未发生的能力仍然未被充分探索。为此，本文引入了UCF101-AD，一个包含配对动作存在与否认视频的大规模基准，旨在评估模型的否认能力。实验表明，尽管在正向动作分类上表现优异，现有模型在动作否认任务上却表现不佳，揭示了现代视频理解中的一个关键盲点。为了解决这一问题，本文提出了因果图框架CausalAct，通过自然语言提示表达场景结构，显著减少了误报，证明否认是一种可学习的推理技能。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在视频理解中对动作否认的能力不足，现有模型在动作存在与否认任务上表现不均，尤其在否认任务上准确率低下。
核心思路：提出UCF101-AD基准，通过配对的动作存在与否认视频来评估模型的否认能力，并引入因果图CausalAct，以自然语言提示增强模型的推理能力。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集通过保留相同的上下文和运动线索构建正负样本，模型则在此基础上进行训练和评估。
关键创新：最重要的创新在于引入因果图框架CausalAct，通过自然语言提示将上下文、交互和运动联系起来，从而提升模型的否认能力，与现有方法相比，显著改善了因果推理的效果。
关键设计：在模型训练中，采用了特定的损失函数来平衡正负样本的学习，同时在网络结构中引入了因果提示模块，以增强模型对动作否认的理解。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，20种最先进的多模态大语言模型在动作否认任务上的准确率普遍低于50%，而引入因果提示后，模型的误报率显著降低，验证了否认能力的可学习性。这一发现为未来的模型改进提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够帮助系统更准确地理解和判断视频中的动作发生情况，提升安全性和智能化水平。未来，随着模型能力的提升，该技术有望在更广泛的多模态理解任务中发挥重要作用。
📄 摘要（原文）
Multimodal large language models (MLLMs) have rapidly advanced video understanding, achieving strong zero-shot and few-shot recognition across standard benchmarks. Yet their ability to deny an action by recognizing when an activity is not happening despite strong contextual cues remains largely unexplored. We introduce UCF101-AD, a large-scale benchmark consisting of paired Action-Presence and Action-Denial clips, designed to evaluate this capacity for denial. Each negative video in UCF101-AD preserves the same contextual and motion cues, including persons, objects, and locations, as its positive counterpart, but the defining action itself is explicitly absent. Evaluating 20 state-of-the-art MLLMs reveals a consistent failure: models that exceed 85% accuracy on the positive action classes collapse below 50% on their action-denial counterparts, indicating a strong inclination to affirm plausible actions rather than verify that they truly occur. This exposes a critical blind spot in modern video understanding: the inability to reason causally about whether a motion actually happens. To probe this issue, we explore a causal graph formulation, CausalAct, which expresses scene structure through natural-language prompts linking context, interaction, and motion. Incorporating such causal cues substantially reduces false positives, demonstrating that denial is a learnable reasoning skill. UCF101-AD provides a new lens for diagnosing and improving causal reasoning in multimodal models. Dataset and relevant code: https://github.com/raiyaan-abdullah/Learn-to-Deny.