EEGaze: Multimodal Attention Prediction in Visual Search via EEG-Based Saliency Refinement

📄 arXiv: 2610.35757v1 📥 PDF

作者: Mansi Sharma, Dinar Orazgaliyev, Antonio Krüger, Philipp Müller

分类: cs.HC, cs.AI, cs.MM

发布日期: 2026-10-26

💡 一句话要点

提出EEGaze以解决视觉搜索中的多模态注意力预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉搜索 多模态融合 脑电图 注意力预测 认知状态 数据集 深度学习

📋 核心要点

  1. 现有的计算注意力建模研究大多忽视了EEG的应用，未能有效利用用户的认知状态信息。
  2. 本文提出EEGaze 140数据集和EEGazeNet方法，前者为多模态视觉搜索提供真实场景数据，后者通过EEG信号改进注意力预测。
  3. 在EEGaze 140数据集上的评估结果显示，EEGazeNet在性能上显著优于现有基线方法，提升了注意力预测的准确性。

📝 摘要（中文）

视觉搜索在日常生活中无处不在，从在杂乱的公寓中寻找钥匙，到在拥挤的工作间中寻找工具，或在桌面上寻找应用图标。尽管视觉注意力在很大程度上受图像内容驱动，但心理学研究表明，用户的认知状态对注意力分配有显著影响。通过脑电图（EEG）记录获取认知状态信息是一种有前景的方法。然而，现有的计算注意力建模研究大多忽视了EEG的应用。为此，本文提出了EEGaze 140，这是一个包含36名参与者在140个自然场景中进行自由视觉搜索的多模态数据集，并介绍了EEGazeNet，这是首个将EEG信号整合到视觉搜索中的人类注意力预测方法。实验结果表明，EEGazeNet在各项评估中均优于所有基线和消融条件。

🔬 方法详解

问题定义：本文旨在解决视觉搜索中对用户认知状态的忽视，现有方法未能有效整合EEG信号以提升注意力预测的准确性。

核心思路：提出EEGazeNet，通过EEG信号引导的精细化阶段，调整现有显著性预测方法的输出，以适应用户当前的认知状态。

技术框架：EEGazeNet的整体架构包括EEG信号的获取、显著性预测模型的输出调整和最终的注意力预测结果生成，确保多模态信息的有效融合。

关键创新：EEGazeNet是首个将EEG信号与视觉搜索中的注意力预测相结合的方法，突破了传统方法的局限，提供了更为精准的用户注意力预测。

关键设计：在网络结构上，EEGazeNet采用了特定的损失函数来优化EEG信号与视觉信息的融合效果，确保模型能够动态适应用户的认知状态。具体的参数设置和网络层次设计未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EEGaze 140数据集上的实验结果显示，EEGazeNet在注意力预测任务中均优于所有基线方法，提升幅度显著，具体性能数据未在摘要中提供，需参考原文获取详细信息。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手、虚拟现实等，能够通过更精准的注意力预测提升用户体验和系统效率。未来，EEGazeNet可能在广告投放、教育技术等领域发挥重要作用，帮助理解用户的认知过程和行为模式。

📄 摘要（原文）

Visual search is ubiquitous in daily life, from locating keys in a messy apartment to finding a tool in a cluttered workshop or an application icon on a desktop screen. While visual attention is to a large extent driven by image content, research in psychology indicates that user cognitive states have a significant influence on attention allocation. A promising way to access information about cognitive states is via Electroencephalography (EEG) recordings. Despite this potential, previous works in computational attention modeling have largely disregarded EEG, and related studies in psychology operate with abstract, simplistic stimuli, or even artificially guided search procedures. We bridge this gap with two contributions. First, we present EEGaze 140, the largest publicly available multimodal dataset of free visual search with realistic stimuli. The dataset contains synchronized EEG and eye tracking recordings from 36 participants across 140 naturalistic scenes, covering two scenarios: searching for desktop icons and finding tools in cluttered workshop scenes. Second, we introduce EEGazeNet, the first method for human attention prediction in visual search that integrates EEG signals. Our approach consists of a EEG guided refinement stage that adapts the output of a state of the art saliency prediction method to the user current cognitive state. In comprehensive evaluations on EEGaze 140, we show that EEGazeNet consistently outperforms all baselines and ablation conditions.