Do Blind Spots Matter for Word-Referent Mapping? A Computational Study with Infant Egocentric Video

📄 arXiv: 2511.11725v1 📥 PDF

作者: Zekai Shi, Zhixi Cai, Kalin Stefanov

分类: cs.CV, cs.AI

发布日期: 2025-11-13

💡 一句话要点

提出基于盲点感知的自监督视觉表征学习方法，用于提升婴儿视角视频中的词-物映射

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 词-物映射 婴儿视角视频 自监督学习 盲点感知 掩码自编码器

📋 核心要点

  1. 现有词-物映射方法缺乏生物学合理性，通常采用随机掩码策略，忽略了人类视觉系统的特性。
  2. 提出一种基于盲点感知的掩码自编码器，模拟人脑填补视觉盲区的方式，学习更鲁棒的视觉表征。
  3. 实验表明，该方法在词-物映射任务中，至少与随机掩码策略效果相当，验证了生物学合理性掩码的有效性。

📝 摘要（中文）

儿童通常在6到9个月大时开始学习他们的第一个词，将口语表达与视觉参照物联系起来。在没有先验知识的情况下，第一次遇到的词可以被解释为无数种方式；它可能指的是环境中的任何物体、它们的组成部分或属性。本文利用来自一个儿童的纵向、以自我为中心且生态有效的数据，提出了一种自监督和生物学上合理的策略来学习强大的视觉表征。我们基于掩码自编码器的视觉骨干网络结合了人类眼睛盲点的知识来定义一种新的掩码策略。这种掩码和重建方法试图模仿人脑填补眼睛视野中空白的方式。这代表了与标准随机掩码策略的重大转变，标准随机掩码策略很难从生物学角度证明其合理性。预训练的编码器被用于基于对比学习的视频-文本模型中，该模型能够获取词-物映射。广泛的评估表明，所提出的生物学上合理的掩码策略至少与随机掩码一样有效，可以从跨情境和时间扩展的事件中学习词-物映射。

🔬 方法详解

问题定义：论文旨在解决婴儿如何从连续的、以自我为中心的视频中学习词-物映射的问题。现有方法通常依赖于随机掩码策略进行视觉表征学习，这种策略缺乏生物学上的合理性，未能充分利用人类视觉系统的先验知识。因此，如何设计一种更符合生物学原理的视觉表征学习方法，从而提升词-物映射的性能，是本文要解决的核心问题。

核心思路：论文的核心思路是模拟人类视觉系统中的盲点机制，设计一种基于盲点感知的掩码策略。通过在视觉输入中引入与人类盲点相似的掩码，并训练模型重建被掩盖的区域，从而迫使模型学习更鲁棒、更具生物学意义的视觉表征。这种方法的目的是让模型能够像人脑一样，自动填补视觉信息中的缺失部分，从而更好地理解周围环境。

技术框架：整体框架包含两个主要阶段：1) 基于盲点感知的自监督视觉表征学习；2) 基于对比学习的词-物映射。在第一阶段，使用掩码自编码器（MAE）作为视觉骨干网络，并采用提出的盲点掩码策略进行预训练。在第二阶段，将预训练的视觉编码器与文本编码器结合，构建一个对比学习模型，用于学习视频片段和对应词语之间的映射关系。

关键创新：最重要的技术创新点在于提出了基于盲点感知的掩码策略。与传统的随机掩码策略不同，该策略模拟了人类视觉系统中的盲点，使得模型能够学习到更符合生物学原理的视觉表征。这种方法不仅提高了视觉表征的质量，还有助于提升词-物映射的性能。

关键设计：在盲点掩码策略中，论文根据人类眼睛的生理结构，在图像中随机选择一个区域作为盲点，并将其掩盖。掩码的大小和位置可以根据实际情况进行调整。在损失函数方面，采用标准的MAE重建损失，即最小化重建图像与原始图像之间的差异。在对比学习阶段，采用InfoNCE损失函数，鼓励模型将相似的视频-文本对拉近，将不相似的视频-文本对推远。

📊 实验亮点

论文通过实验验证了提出的盲点掩码策略的有效性。实验结果表明，在词-物映射任务中，该方法至少与随机掩码策略效果相当，甚至在某些情况下略有提升。这表明，基于生物学原理的掩码策略能够有效地学习视觉表征，并提升模型的性能。

🎯 应用场景

该研究成果可应用于开发更智能的儿童早期教育机器人，帮助儿童更好地学习语言和理解世界。此外，该方法在机器人视觉、自动驾驶等领域也具有潜在的应用价值，可以提升机器在复杂环境下的感知能力和鲁棒性。

📄 摘要（原文）

Typically, children start to learn their first words between 6 and 9 months, linking spoken utterances to their visual referents. Without prior knowledge, a word encountered for the first time can be interpreted in countless ways; it might refer to any of the objects in the environment, their components, or attributes. Using longitudinal, egocentric, and ecologically valid data from the experience of one child, in this work, we propose a self-supervised and biologically plausible strategy to learn strong visual representations. Our masked autoencoder-based visual backbone incorporates knowledge about the blind spot in human eyes to define a novel masking strategy. This mask and reconstruct approach attempts to mimic the way the human brain fills the gaps in the eyes' field of view. This represents a significant shift from standard random masking strategies, which are difficult to justify from a biological perspective. The pretrained encoder is utilized in a contrastive learning-based video-text model capable of acquiring word-referent mappings. Extensive evaluation suggests that the proposed biologically plausible masking strategy is at least as effective as random masking for learning word-referent mappings from cross-situational and temporally extended episodes.