ViTGaze: Gaze Following with Interaction Features in Vision Transformers
作者: Yuehao Song, Xinggang Wang, Jingfeng Yao, Wenyu Liu, Jinglin Zhang, Xiangmin Xu
分类: cs.CV
发布日期: 2024-03-19 (更新: 2024-11-14)
备注: 15 pages; Accepted by Visual Intelligence
期刊: Visual Intelligence, 2024, Vol. 2, article no. 31
💡 一句话要点
提出ViTGaze以解决注视跟随中的交互特征提取问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 注视跟随 视觉变换器 自注意力机制 人机交互 单模态学习 计算机视觉 深度学习
📋 核心要点
- 现有注视跟随方法多依赖于复杂的多模态信息提取，导致计算负担重且效果不稳定。
- 本文提出的ViTGaze框架基于视觉变换器，利用自注意力机制提取人类与场景的交互特征，简化了模型结构。
- 实验结果显示，ViTGaze在单模态方法中取得了3.4%的AUC提升和5.1%的平均精度提升，且参数量显著减少。
📝 摘要（中文）
注视跟随旨在通过预测人类的注视焦点来解读人类与场景的交互。现有方法通常采用两阶段框架，初始阶段提取多模态信息以进行注视目标预测，因此其效果高度依赖于前期模态提取的精度。其他方法则使用单模态方法和复杂解码器，增加了网络的计算负担。受预训练视觉变换器（ViTs）成功的启发，本文提出了一种新颖的单模态注视跟随框架ViTGaze。与以往方法不同，该框架主要基于强大的编码器，解码器参数占比不足1%。我们的核心见解是，自注意力中的交互可以转移到人类与场景之间的交互。通过这一假设，我们构建了一个包含4D交互编码器和2D空间引导模块的框架，以从自注意力图中提取人类与场景的交互信息。实验表明，ViT在自监督预训练下具有更强的相关信息提取能力。我们的模型在所有单模态方法中实现了最先进的性能，并且与多模态方法相比，参数数量减少了59%。
🔬 方法详解
问题定义：本文旨在解决注视跟随任务中人类与场景交互特征提取的不足，现有方法往往依赖复杂的多模态信息，导致计算效率低下。
核心思路：ViTGaze框架的核心思想是利用视觉变换器的自注意力机制，提取人类与场景之间的交互信息，避免了复杂的解码器设计，从而简化了模型结构。
技术框架：该框架包含一个4D交互编码器和一个2D空间引导模块，前者用于从自注意力图中提取交互信息，后者用于空间信息的引导。
关键创新：ViTGaze的主要创新在于其将自注意力机制中的交互特征转化为人类与场景的交互特征，且解码器参数占比极低，显著降低了模型复杂度。
关键设计：在模型设计中，采用自监督预训练的视觉变换器，以增强模型提取相关信息的能力，同时优化了损失函数以适应单模态学习的需求。
🖼️ 关键图片
📊 实验亮点
ViTGaze在单模态注视跟随任务中实现了最先进的性能，AUC得分提升3.4%，平均精度提升5.1%。与多模态方法相比，ViTGaze的参数数量减少了59%，显示出其在效率和效果上的优势。
🎯 应用场景
该研究在计算机视觉和人机交互领域具有广泛的应用潜力，尤其是在智能监控、虚拟现实和增强现实等场景中，可以提升系统对人类行为的理解和响应能力。未来，ViTGaze可能会推动更高效的交互式系统的发展，改善人机交互体验。
📄 摘要（原文）
Gaze following aims to interpret human-scene interactions by predicting the person's focal point of gaze. Prevailing approaches often adopt a two-stage framework, whereby multi-modality information is extracted in the initial stage for gaze target prediction. Consequently, the efficacy of these methods highly depends on the precision of the preceding modality extraction. Others use a single-modality approach with complex decoders, increasing network computational load. Inspired by the remarkable success of pre-trained plain vision transformers (ViTs), we introduce a novel single-modality gaze following framework called ViTGaze. In contrast to previous methods, it creates a novel gaze following framework based mainly on powerful encoders (relative decoder parameters less than 1%). Our principal insight is that the inter-token interactions within self-attention can be transferred to interactions between humans and scenes. Leveraging this presumption, we formulate a framework consisting of a 4D interaction encoder and a 2D spatial guidance module to extract human-scene interaction information from self-attention maps. Furthermore, our investigation reveals that ViT with self-supervised pre-training has an enhanced ability to extract correlation information. Many experiments have been conducted to demonstrate the performance of the proposed method. Our method achieves state-of-the-art (SOTA) performance among all single-modality methods (3.4% improvement in the area under curve (AUC) score, 5.1% improvement in the average precision (AP)) and very comparable performance against multi-modality methods with 59% number of parameters less.