The Visual Experience Dataset: Over 200 Recorded Hours of Integrated Eye Movement, Odometry, and Egocentric Video

📄 arXiv: 2404.18934v2 📥 PDF

作者: Michelle R. Greene, Benjamin J. Balas, Mark D. Lescroart, Paul R. MacNeilage, Jennifer A. Hart, Kamran Binaee, Peter A. Hausamann, Ronald Mezile, Bharath Shankar, Christian B. Sinnott, Kaylie Capurro, Savannah Halow, Hunter Howe, Mariam Josyula, Annie Li, Abraham Mieses, Amina Mohamed, Ilya Nudnou, Ezra Parkhill, Peter Riley, Brett Schmidt, Matthew W. Shinkle, Wentao Si, Brian Szekely, Joaquin M. Torres, Eliana Weissmann

分类: cs.CV, cs.HC

发布日期: 2024-02-15 (更新: 2024-08-13)

备注: 40 pages, 1 table, 9 figures

💡 一句话要点

提出视觉体验数据集以促进视觉感知研究

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉体验数据集 眼动追踪 第一人称视频 多模态数据 视觉感知 数据集构建 开放科学

📋 核心要点

  1. 现有方法在视觉感知研究中缺乏大规模、真实世界的多模态数据，限制了模型的泛化能力。
  2. 本研究提出了视觉体验数据集（VEDB），结合了第一人称视频和眼动追踪数据，提供了丰富的视觉体验数据。
  3. 数据集的构建和标注遵循严格的协议，确保了数据的代表性和可靠性，具有广泛的应用潜力。

📝 摘要（中文）

我们介绍了视觉体验数据集（VEDB），该数据集汇集了超过240小时的第一人称视频以及凝视和头部追踪数据，为人类观察者的视觉世界提供了前所未有的视角。数据集包含717个会话，由58名年龄在6至49岁之间的观察者记录。本文概述了数据收集、处理和标注协议，以确保样本的代表性，并讨论了数据集中可能存在的误差或偏差来源。VEDB的潜在应用广泛，包括改进凝视追踪方法、评估时空图像统计以及优化深度神经网络用于场景和活动识别。该数据集通过开放科学平台提供，旨在成为一个动态数据集，计划扩展和社区贡献，并强调参与者隐私和潜在偏见的伦理考量。

🔬 方法详解

问题定义：本研究旨在解决现有视觉感知研究中缺乏大规模、真实世界的多模态数据的问题。现有方法往往依赖于小规模或实验室环境下的数据，限制了模型的泛化能力和实际应用。

核心思路：论文的核心解决思路是构建一个包含丰富第一人称视频和眼动追踪数据的视觉体验数据集（VEDB），以提供更真实的视觉体验视角，促进对人类视觉感知的深入理解。

技术框架：VEDB的数据收集过程包括多个阶段：首先是选择多样化的观察者群体，然后进行视频录制和眼动追踪数据的同步记录，最后对数据进行处理和标注，确保数据的质量和代表性。

关键创新：最重要的技术创新点在于数据集的规模和多模态性，结合了视频和眼动追踪数据，提供了前所未有的视觉体验视角。这种设计与传统的单一模态数据集有本质区别，能够更好地反映人类的视觉行为。

关键设计：在数据收集过程中，研究团队设置了严格的标注协议，确保数据的准确性和一致性。此外，数据集还包含丰富的元数据，以支持后续的分析和研究。

📊 实验亮点

VEDB数据集包含超过240小时的第一人称视频和眼动追踪数据，记录了58名观察者的717个会话。该数据集的构建遵循严格的协议，确保了数据的代表性和可靠性，具有广泛的应用潜力，能够显著提升现有视觉感知模型的性能。

🎯 应用场景

该研究的潜在应用领域包括改进眼动追踪技术、增强计算机视觉模型的训练数据、以及在心理学和认知科学中深入研究人类视觉感知。VEDB的开放性和可扩展性将促进学术界和工业界的广泛合作，推动相关领域的发展。

📄 摘要（原文）

We introduce the Visual Experience Dataset (VEDB), a compilation of over 240 hours of egocentric video combined with gaze- and head-tracking data that offers an unprecedented view of the visual world as experienced by human observers. The dataset consists of 717 sessions, recorded by 58 observers ranging from 6-49 years old. This paper outlines the data collection, processing, and labeling protocols undertaken to ensure a representative sample and discusses the potential sources of error or bias within the dataset. The VEDB's potential applications are vast, including improving gaze tracking methodologies, assessing spatiotemporal image statistics, and refining deep neural networks for scene and activity recognition. The VEDB is accessible through established open science platforms and is intended to be a living dataset with plans for expansion and community contributions. It is released with an emphasis on ethical considerations, such as participant privacy and the mitigation of potential biases. By providing a dataset grounded in real-world experiences and accompanied by extensive metadata and supporting code, the authors invite the research community to utilize and contribute to the VEDB, facilitating a richer understanding of visual perception and behavior in naturalistic settings.