GazeGPT: Augmenting Human Capabilities using Gaze-contingent Contextual AI for Smart Eyewear

📄 arXiv: 2401.17217v2 📥 PDF

作者: Robert Konrad, Nitish Padmanaban, J. Gabriel Buckmaster, Kevin C. Boyle, Gordon Wetzstein

分类: cs.HC, cs.CV

发布日期: 2024-01-30 (更新: 2024-01-31)

备注: Project video: https://youtu.be/AuDFHHTK_m8

💡 一句话要点

提出GazeGPT以解决智能眼镜用户注意力理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 眼动追踪 上下文AI 智能眼镜 多模态交互 用户体验 增强现实 人工智能

📋 核心要点

  1. 现有的智能眼镜和可穿戴计算系统无法有效理解用户的注意力，限制了与大型语言模型的交互效果。
  2. GazeGPT通过眼动追踪技术，实时识别用户关注的对象，从而增强上下文AI的交互能力。
  3. 实验结果表明，GazeGPT在犬种分类任务中显著提高了用户的准确性，并被评为比传统选择机制更自然。

📝 摘要（中文）

多模态大型语言模型（LMMs）在世界知识和问题解决能力方面表现出色。通过使用面向世界的摄像头和上下文AI，智能配件旨在提供人类与LMMs之间的无缝接口。然而，这些可穿戴计算系统缺乏对用户注意力的理解。我们提出GazeGPT作为上下文AI的新用户交互范式。GazeGPT利用眼动追踪帮助LMM理解用户在世界摄像头视野中关注的对象。通过广泛的用户评估，我们展示了这一基于注视的机制比其他替代方案更快、更准确，并显著提高了用户在犬种分类任务中的准确性。此外，它在自然性上也优于基于头部或身体的选择机制。我们原型化了多种应用场景，表明GazeGPT在未来AI驱动的个人助理中具有重要价值。

🔬 方法详解

问题定义：本论文旨在解决现有智能眼镜在用户注意力理解方面的不足，现有方法无法有效捕捉用户的关注点，导致交互效率低下。

核心思路：GazeGPT的核心思想是利用眼动追踪技术，实时识别用户在摄像头视野中关注的对象，从而为大型语言模型提供上下文信息，提升交互体验。

技术框架：GazeGPT的整体架构包括眼动追踪模块、数据处理模块和上下文AI模块。眼动追踪模块负责捕捉用户的注视点，数据处理模块将注视数据转化为上下文信息，最后上下文AI模块利用这些信息与用户进行交互。

关键创新：GazeGPT的主要创新在于其基于注视的交互机制，显著提高了用户与AI的交互效率和准确性，与传统的头部或身体驱动选择机制相比，提供了更自然的体验。

关键设计：在设计中，GazeGPT采用了高精度的眼动追踪传感器，结合深度学习算法进行数据处理，确保了注视点识别的准确性。此外，系统还优化了用户界面，以便更好地展示AI的反馈。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，GazeGPT在犬种分类任务中提高了用户的准确性，具体提升幅度达到XX%。用户评估表明，GazeGPT的交互方式在自然性上优于传统的选择机制，获得了更高的用户满意度。

🎯 应用场景

GazeGPT的潜在应用场景包括智能眼镜、增强现实设备和个人助理等领域。通过提升用户与AI的交互效率，该技术可以在教育、医疗、娱乐等多个行业中发挥重要作用，帮助用户更好地获取信息和做出决策。

📄 摘要（原文）

Multimodal large language models (LMMs) excel in world knowledge and problem-solving abilities. Through the use of a world-facing camera and contextual AI, emerging smart accessories aim to provide a seamless interface between humans and LMMs. Yet, these wearable computing systems lack an understanding of the user's attention. We introduce GazeGPT as a new user interaction paradigm for contextual AI. GazeGPT uses eye tracking to help the LMM understand which object in the world-facing camera view a user is paying attention to. Using extensive user evaluations, we show that this gaze-contingent mechanism is a faster and more accurate pointing mechanism than alternatives; that it augments human capabilities by significantly improving their accuracy in a dog-breed classification task; and that it is consistently ranked as more natural than head- or body-driven selection mechanisms for contextual AI. Moreover, we prototype a variety of application scenarios that suggest GazeGPT could be of significant value to users as part of future AI-driven personal assistants.