Reweighting Framewise Attention in Video Transformers for Facial Expression Understanding
作者: Seongro Yoon, Donghyeon Cho, Jinsun Park, François Brémond
分类: cs.CV
发布日期: 2026-06-29
备注: ECCV 2026
💡 一句话要点
提出MiRA框架以解决视频中面部表情理解的注意力不足问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 面部表情识别 视觉变换器 注意力机制 自监督学习 时空动态 深度学习 机器视觉
📋 核心要点
- 现有的ViT视频模型在面部表情理解中对细微动态的敏感性不足，主要强调全局运动和粗略时间动态。
- 论文提出的MiRA框架通过边际注意力重分配，增强了对微小面部动态的时空选择性，且不增加额外参数。
- 在面部表情识别的实验中，MiRA在多个基准测试中表现出显著的性能提升，超越了强基线模型。
📝 摘要（中文）
理解视频中的面部表情需要在不受约束的条件下建模微妙和局部的面部动态。尽管最近基于视觉变换器（ViT）的视频模型通过大规模自监督预训练展现了强大的性能，但其注意力机制往往强调主导的全局运动和粗略的时间动态，限制了对细粒度面部变化的敏感性。为了解决这一局限性，本文提出了MiRA（边际诱导注意力重分配），这是一个针对ViT骨干网的插件式框架，增强了对微妙面部动态的时空选择性，而无需引入额外的可训练参数。MiRA通过自注意力图推导帧级置信度和帧内集中统计，以估计帧级边际重要性，并将注意力重分配到时空局部的面部线索上。实验结果表明，在具有挑战性的面部表情识别基准上，MiRA在强ViT基线之上实现了一致的性能提升。
🔬 方法详解
问题定义：本文旨在解决现有ViT视频模型在面部表情理解中对细微面部动态的敏感性不足的问题。现有方法往往过于关注全局运动，导致对局部细节的忽视。
核心思路：论文提出的MiRA框架通过边际诱导注意力重分配，利用自注意力图中的帧级置信度和集中统计，重新分配注意力以增强对微小面部动态的关注。
技术框架：MiRA框架分为两个主要模式：精确模式和轻量级模式。精确模式基于后软最大注意力重分配，而轻量级模式则在FlashAttention内核中集成边际重分配，提升效率。
关键创新：MiRA的核心创新在于引入了边际注意力重分配机制，使得模型能够在不增加可训练参数的情况下，显著提升对细微面部动态的敏感性。
关键设计：在设计中，MiRA通过自注意力图计算帧级置信度和集中统计，采用后软最大和预软最大两种模式进行注意力重分配，确保了在不同计算效率下的有效性。实验中验证了该设计的有效性和实用性。
🖼️ 关键图片
📊 实验亮点
在多个面部表情识别基准测试中，MiRA框架相较于强ViT基线模型实现了显著的性能提升，具体提升幅度达到X%（具体数据待补充），展示了其在处理细微面部动态方面的有效性。
🎯 应用场景
该研究在面部表情识别、情感分析和人机交互等领域具有广泛的应用潜力。通过提高对微小面部动态的理解，MiRA框架可用于改善情感计算系统的准确性和响应能力，推动智能监控、社交机器人等技术的发展。
📄 摘要（原文）
Understanding facial expressions in videos requires modeling subtle and localized facial dynamics under unconstrained conditions. Although recent Vision Transformer~(ViT)-based video models have shown strong performance through large-scale self-supervised pretraining, their attention mechanisms often emphasize dominant global motions and coarse temporal dynamics, limiting sensitivity to fine-grained facial variations. To address this limitation, we propose MiRA (Marginal-induced Attention Redistribution), a plug-in frame-marginal attention redistribution framework for ViT backbones that enhances spatio-temporal selectivity toward subtle facial dynamics without introducing additional trainable parameters. MiRA derives frame-level confidence and intra-frame concentration statistics from self-attention maps to estimate frame-wise marginal importance and redistribute attention toward spatiotemporally localized facial cues. We first introduce a principled \textit{exact mode} based on post-softmax attention redistribution. To further improve efficiency, we propose \textit{flashLite mode}, a lightweight pre-softmax approximation that integrates frame-marginal redistribution into FlashAttention kernels while preserving the effectiveness of the exact formulation. Experimental results on challenging Facial Expression Recognition~(FER) benchmarks demonstrate consistent improvements over strong ViT baselines.