Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
作者: Virmarie Maquiling, Zhuojiang Cai, Enkelejda Kasneci
分类: cs.CV
发布日期: 2026-08-24
备注: 8 pages, 1 figure, 1 table
💡 一句话要点
提出基于运动的标记化方法以解决跨数据集自我中心注视建模问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我中心注视 运动标记化 跨数据集建模 多模态学习 计算机视觉
📋 核心要点
- 现有方法在注视表示上缺乏一致性，原始轨迹噪声大且依赖设备，粗略事件标签则可能丢失重要的运动信息。
- 本文提出了一种事件对齐的固定视角角位移作为运动词汇，旨在提高跨数据集注视建模的有效性和可解释性。
- 实验结果显示，基于运动的标记化方法在目标领域遗憾值上优于现有的向量量化标记，展示了其在不同数据集间的有效性。
📝 摘要（中文）
注视作为视觉和多模态模型的输入信号越来越受到重视，但在不同数据集间的表示方式尚无共识。原始轨迹保留了细节但噪声大且依赖于设备，而粗略的事件标签易于建模但可能丢失局部运动结构。本文提出了一种事件对齐的固定视角角位移作为可解释的运动词汇，并与其他表示方式进行了比较。实验结果表明，基于运动的标记化方法在事件对齐的头戴式基准测试中，具有较低的目标领域遗憾值，展示了其在跨数据集注视流的紧凑表示能力。
🔬 方法详解
问题定义：本文旨在解决跨数据集自我中心注视建模中注视表示不一致的问题。现有方法在表示注视时，原始轨迹虽然细节丰富，但噪声大且依赖于具体设备，而粗略的事件标签虽然易于建模，但可能丢失局部运动结构的重要信息。
核心思路：论文提出了一种基于事件对齐的固定视角角位移作为可解释的运动词汇，旨在通过这种新颖的表示方式来提高注视建模的准确性和可解释性。通过将运动信息与事件条件相结合，能够更好地捕捉注视的动态特征。
技术框架：整体架构包括事件对齐的运动标记生成、与其他表示方式的比较，以及通过多种评估指标（如目标领域遗憾、低阶目标参考等）进行性能评估。主要模块包括运动标记生成模块、表示比较模块和性能评估模块。
关键创新：最重要的技术创新在于提出了基于运动的标记化方法，这种方法通过事件对齐的角位移表示，能够有效保留运动信息并提高跨数据集的迁移能力，与传统的向量量化方法相比，具有更好的表现。
关键设计：在设计中，采用了固定视角的角位移作为运动标记，并通过实验验证了不同事件构造对迁移效果的影响。损失函数和网络结构的具体设置在实验中进行了详细的比较和分析，以确保模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在事件对齐的头戴式基准测试中，基于运动的标记化方法在目标领域遗憾值上优于传统的向量量化标记，尤其在一个迁移方向上表现显著，展示了其在跨数据集注视建模中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括人机交互、虚拟现实和增强现实等场景，能够为这些领域中的注视追踪和理解提供更为精准的技术支持。未来，该方法有望推动多模态学习和计算机视觉领域的发展，提升自动化系统对人类行为的理解能力。
📄 摘要（原文）
Gaze is increasingly used as an input signal for vision and multimodal models, yet no consensus exists on how to represent it across datasets. Raw traces preserve detail but are noisy and device-dependent, while coarse event labels are easy to model but can discard local motion structure. We formulate event-aligned, fixed-horizon angular displacement as an interpretable, event-conditioned motion vocabulary and compare it with event-only, spatial, absolute-angle, learned vector-quantized, and continuous representations. To assess transfer alongside target predictability and token collapse, our evaluation combines next-token prediction with target-domain regret, low-order target references, paired bootstrap, order sensitivity, motif overlap, and frozen structural probes. In an event-aligned headset benchmark, angular-motion tokens have lower target-domain regret than frozen-codebook VQ tokens in one transfer direction, while the reverse direction is inconclusive. The probes reveal complementary representation properties, and event-only tokens show that low perplexity can retain little motion information. On a third egocentric dataset, a matched comparison of I-VT, native, and frame-span interfaces shows that event construction materially changes transfer: native events have the lowest regret into EGTEA, while frame-span events have zero motif overlap and fail severely as a source. Motion-based tokenization therefore provides a compact representation for event-aligned egocentric gaze streams, while the evaluation identifies how target predictability and event construction shape cross-dataset conclusions.