Foraging with the Eyes: Dynamics in Human Visual Gaze and Deep Predictive Modeling

📄 arXiv: 2510.09299v1 📥 PDF

作者: Tejaswi V. Panchagnula

分类: cs.CV, eess.IV

发布日期: 2025-10-10

💡 一句话要点

揭示人类视觉搜寻模式：基于眼动数据的Levy行走与深度预测模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 眼动追踪 视觉注意 莱维飞行 卷积神经网络 深度学习

📋 核心要点

  1. 现有眼动模型侧重图像显著性，忽略了眼球运动的时空统计特性，限制了对人类视觉探索机制的理解。
  2. 该研究发现人类视觉注视遵循莱维飞行模式，类似于动物觅食，表明视觉信息搜寻具有优化效率。
  3. 通过训练CNN模型，仅从图像预测注视热图，验证了视觉结构包含可学习的注视行为关键信息。

📝 摘要（中文）

动物通常通过莱维飞行（Levy walks）进行觅食，这是一种具有重尾步长的随机轨迹，针对稀疏资源环境进行了优化。本研究表明，人类在扫描图像时，视觉注视也遵循类似的动态模式。传统模型侧重于基于图像的显著性，而眼球运动的潜在时空统计特性仍未得到充分探索。理解这些动态特性在注意力建模和基于视觉的界面中具有广泛的应用。本研究进行了一项大规模的人类受试者实验，涉及40名参与者在不受约束的条件下观看50张不同的图像，并使用高速眼动仪记录了超过400万个注视点。分析表明，人眼的注视轨迹也遵循类似于动物觅食的莱维飞行。这表明人眼以最优效率的方式搜寻视觉信息。此外，我们训练了一个卷积神经网络（CNN），仅从图像输入预测注视热图。该模型准确地再现了新图像中的显著注视区域，表明注视行为的关键组成部分可以仅从视觉结构中学习。我们的发现提供了新的证据，表明人类的视觉探索遵循类似于自然觅食的统计规律，并为通过生成和预测框架对注视进行建模开辟了道路。

🔬 方法详解

问题定义：现有眼动模型主要关注图像本身的显著性特征，忽略了眼动轨迹的时空动态特性。这导致我们对人类视觉探索行为的理解不够深入，也限制了相关应用（如注意力建模、视觉界面设计）的性能提升。因此，本研究旨在深入分析人类眼动轨迹的统计规律，并探索如何利用深度学习模型来预测眼动行为。

核心思路：本研究的核心思路是借鉴动物觅食行为中的莱维飞行（Levy walk）理论，将其应用于分析人类的视觉注视行为。研究者假设，人类在扫描图像时，眼球运动也遵循类似的统计规律，即存在具有重尾分布的步长，从而实现对视觉信息的有效搜寻。此外，研究者还尝试利用卷积神经网络（CNN）来学习图像与眼动之间的映射关系，从而实现对眼动行为的预测。

技术框架：该研究的技术框架主要包括两个部分：一是眼动数据采集与分析，二是基于CNN的眼动预测模型。首先，研究者通过大规模的人类受试者实验，采集了大量的眼动数据。然后，对这些数据进行统计分析，验证人类视觉注视是否遵循莱维飞行模式。其次，研究者构建了一个CNN模型，该模型以图像作为输入，输出注视热图，用于预测人类的眼动行为。

关键创新：本研究的关键创新在于：1）首次将莱维飞行理论应用于分析人类的视觉注视行为，揭示了人类视觉探索的统计规律；2）证明了仅从图像的视觉结构中就可以学习到眼动行为的关键组成部分，为基于深度学习的眼动预测提供了新的思路。

关键设计：在眼动数据采集方面，研究者使用了高速眼动仪，以保证数据的准确性和可靠性。在CNN模型设计方面，研究者采用了标准的卷积神经网络结构，并针对眼动预测任务进行了优化。具体的网络结构和参数设置在论文中可能没有详细描述，属于未知信息。损失函数可能采用了均方误差或交叉熵等常用的损失函数，用于衡量预测的注视热图与真实注视热图之间的差异。

📊 实验亮点

该研究通过大规模实验验证了人类视觉注视遵循莱维飞行模式，并成功训练了一个CNN模型，仅从图像输入即可准确预测注视热图。该模型在新图像上的表现表明，视觉结构包含了可学习的眼动行为信息，为未来的眼动预测研究奠定了基础。具体的性能指标和提升幅度在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果具有广泛的应用前景。在注意力建模方面，可以用于构建更准确、更自然的注意力模型，提升计算机视觉任务的性能。在视觉界面设计方面，可以用于设计更符合人类视觉习惯的界面，提升用户体验。此外，该研究还可以应用于广告推荐、人机交互、虚拟现实等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Animals often forage via Levy walks stochastic trajectories with heavy tailed step lengths optimized for sparse resource environments. We show that human visual gaze follows similar dynamics when scanning images. While traditional models emphasize image based saliency, the underlying spatiotemporal statistics of eye movements remain underexplored. Understanding these dynamics has broad applications in attention modeling and vision-based interfaces. In this study, we conducted a large scale human subject experiment involving 40 participants viewing 50 diverse images under unconstrained conditions, recording over 4 million gaze points using a high speed eye tracker. Analysis of these data shows that the gaze trajectory of the human eye also follows a Levy walk akin to animal foraging. This suggests that the human eye forages for visual information in an optimally efficient manner. Further, we trained a convolutional neural network (CNN) to predict fixation heatmaps from image input alone. The model accurately reproduced salient fixation regions across novel images, demonstrating that key components of gaze behavior are learnable from visual structure alone. Our findings present new evidence that human visual exploration obeys statistical laws analogous to natural foraging and open avenues for modeling gaze through generative and predictive frameworks.