Resolving Ambiguity in Gaze-Facilitated Visual Assistant Interaction Paradigm

📄 arXiv: 2509.21980v1 📥 PDF

作者: Zeyu Wang, Baiyu Chen, Kun Yan, Hongjing Piao, Hao Xue, Flora D. Salim, Yuanchun Shi, Yuntao Wang

分类: cs.CV

发布日期: 2025-09-26

💡 一句话要点

GLARIFY：利用时空注视信息解决视觉助手交互中的歧义性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉助手 注视追踪 视觉-语言模型 歧义消解 数据合成

📋 核心要点

  1. 现有方法在视觉助手交互中，难以有效处理用户口语提问的模糊性以及注视数据的噪声问题。
  2. GLARIFY通过分析注视数据，结合GPT-4o生成数据集，并设计热图模块将注视信息融入VLMs，从而解决歧义性。
  3. 实验结果表明，GLARIFY在性能上显著优于现有基线模型，提升了视觉助手交互的可用性和直观性。

📝 摘要（中文）

随着智能眼镜的普及，用户的注意力被整合到视觉-语言模型（VLMs）中，以简化日常场景中的多模态查询。然而，利用注视数据来建模用户的注意力可能会引入歧义性挑战：（1）用户的口头问题因使用代词或跳过上下文而变得模糊；（2）人类的注视模式可能存在噪声，并与其口头问题表现出复杂的时空关系。先前的工作仅考虑单张图像作为视觉模态输入，无法捕捉用户注意力的动态特性。本文提出了一种名为GLARIFY的新方法，利用时空注视信息来提高模型在实际应用中的有效性。首先，我们分析了数百个带有注视模态的查询样本，以证明用户注视模式的噪声性质。然后，我们利用GPT-4o设计了一个自动数据合成流程，生成了GLARIFY-Ambi数据集，其中包括一个专门的思维链（CoT）过程来处理噪声注视模式。最后，我们设计了一个热图模块，将注视信息整合到最先进的VLMs中，同时保留其预训练知识。我们使用保留测试集评估了GLARIFY。实验表明，GLARIFY显著优于基线模型。通过将VLMs与人类注意力进行鲁棒对齐，GLARIFY为与视觉助手进行可用且直观的交互范式铺平了道路。

🔬 方法详解

问题定义：现有视觉助手交互系统在处理用户提问时，面临着两个主要问题。一是用户口头提问常常包含代词或省略上下文，导致问题本身存在歧义。二是用户的注视数据具有噪声，与口头提问之间存在复杂的时空关系，难以直接利用。先前的方法通常只考虑单张图像作为视觉输入，忽略了用户注意力的动态变化，无法有效解决这些问题。

核心思路：GLARIFY的核心思路是利用时空注视信息来消除视觉助手交互中的歧义性。通过分析用户的注视模式，模型可以更好地理解用户的意图，从而更准确地回答问题。为了解决注视数据的噪声问题，论文设计了一个自动数据合成流程，生成包含噪声注视模式的数据集，并使用思维链（CoT）过程进行处理。

技术框架：GLARIFY的整体框架包括三个主要模块：数据分析模块、数据合成模块和热图融合模块。首先，数据分析模块用于分析真实用户交互数据，揭示注视模式的噪声特性。然后，数据合成模块利用GPT-4o生成GLARIFY-Ambi数据集，该数据集包含带有噪声注视模式的查询样本。最后，热图融合模块将注视信息以热图的形式整合到现有的VLMs中，从而提高模型对用户意图的理解能力。

关键创新：GLARIFY的关键创新在于以下几个方面：(1) 提出了一个自动数据合成流程，用于生成包含噪声注视模式的数据集，解决了真实数据难以获取的问题。(2) 设计了一个热图融合模块，可以将注视信息有效地整合到现有的VLMs中，而不会破坏模型的预训练知识。(3) 考虑了用户注意力的动态变化，利用时空注视信息来提高模型的性能。与现有方法相比，GLARIFY能够更有效地处理用户提问中的歧义性，并更好地理解用户的意图。

关键设计：在数据合成模块中，论文使用了GPT-4o来生成查询样本，并设计了一个思维链（CoT）过程来模拟噪声注视模式。在热图融合模块中，论文将注视信息转换为热图，并将其与视觉特征进行融合。具体的融合方式未知，但目标是保留预训练知识的同时，融入注视信息。

📊 实验亮点

实验结果表明，GLARIFY在处理歧义性问题上显著优于基线模型。具体性能数据未知，但摘要中明确指出GLARIFY在保留测试集上取得了显著的性能提升，证明了其有效性。通过鲁棒地对齐VLMs与人类注意力，GLARIFY为更直观和可用的视觉助手交互铺平了道路。

🎯 应用场景

GLARIFY技术可应用于智能眼镜、辅助驾驶、远程协作等领域。通过理解用户的注视意图，视觉助手可以提供更精准、更个性化的服务，例如在智能眼镜中快速识别用户关注的物体并提供相关信息，在辅助驾驶中预测驾驶员的潜在风险，在远程协作中帮助参与者更好地理解对方的意图。

📄 摘要（原文）

With the rise in popularity of smart glasses, users' attention has been integrated into Vision-Language Models (VLMs) to streamline multi-modal querying in daily scenarios. However, leveraging gaze data to model users' attention may introduce ambiguity challenges: (1) users' verbal questions become ambiguous by using pronouns or skipping context, (2) humans' gaze patterns can be noisy and exhibit complex spatiotemporal relationships with their spoken questions. Previous works only consider single image as visual modality input, failing to capture the dynamic nature of the user's attention. In this work, we introduce GLARIFY, a novel method to leverage spatiotemporal gaze information to enhance the model's effectiveness in real-world applications. Initially, we analyzed hundreds of querying samples with the gaze modality to demonstrate the noisy nature of users' gaze patterns. We then utilized GPT-4o to design an automatic data synthesis pipeline to generate the GLARIFY-Ambi dataset, which includes a dedicated chain-of-thought (CoT) process to handle noisy gaze patterns. Finally, we designed a heatmap module to incorporate gaze information into cutting-edge VLMs while preserving their pretrained knowledge. We evaluated GLARIFY using a hold-out test set. Experiments demonstrate that GLARIFY significantly outperforms baselines. By robustly aligning VLMs with human attention, GLARIFY paves the way for a usable and intuitive interaction paradigm with a visual assistant.