Objects Before Words: Object-First Inductive Biases for Grounding Language in Child-View Video
作者: Sathira Silva, Abrham Kahsay Gebreselasie, Muhammad Umer Sheikh, Kartik Kuckreja, Daniel Harari, Muhammad Haris Khan
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出BabyMind以解决儿童视角视频中的语言基础问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 儿童语言学习 对比学习 多模态学习 视觉-语言结合 对象跟踪
📋 核心要点
- 核心问题：现有方法在处理婴儿视角视频时面临命名对象出现时间和位置不明确的问题，导致对比学习效果不佳。
- 方法要点：论文提出BabyMind，通过对象优先的偏置和跟踪机制，改善了稀疏和噪声监督下的对比学习过程。
- 实验或效果：BabyMind在SAYCam-S数据集上提高了Labeled-S 15的准确率2.6个百分点，并在分布外基准测试中表现出一致的性能提升。
📝 摘要（中文）
学习从自然经验中获取词义需要解决婴儿视角录音中的两个模糊性问题：命名参照物出现的时间和在杂乱画面中的位置。在SAYCam风格的数据中，照顾者的语言稀疏且与自我中心视频的同步性较弱，因此单帧对比配对会产生噪声正样本，其中意图对象缺失或与干扰物纠缠。我们提出了BabyMind，一种针对稀疏、噪声监督下的儿童视角对比学习的对象优先偏置。BabyMind通过离线掩膜区域接口提取候选对象嵌入，利用跟踪将候选对象链接到短语音中心窗口中的轻量级对象文件，并通过原型空间的多实例对比目标将语音与对象文件包对齐。跟踪一致性和全局对象一致性正则化器稳定学习，并将对象文件结构转移到评估时使用的全局帧嵌入上。在SAYCam-S上，BabyMind相比CVCL提高了Labeled-S 15强制选择准确率2.6个百分点，并在词汇内的分布外基准测试中获得了一致的提升。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在稀疏和噪声监督下，从儿童视角视频中有效学习语言与对象的对应关系。现有方法在处理这些视频时，常常因为命名对象的出现时间和位置不明确而导致对比学习效果不理想。
核心思路：论文的核心解决思路是引入对象优先的偏置，通过提取候选对象嵌入并利用跟踪机制，将语音与对象文件进行有效对齐，从而提高对比学习的准确性和稳定性。
技术框架：整体架构包括几个主要模块：首先，通过离线掩膜区域接口提取候选对象嵌入；其次，利用跟踪将这些候选对象链接到短语音中心窗口中的轻量级对象文件；最后，通过原型空间的多实例对比目标将语音与对象文件包对齐。
关键创新：最重要的技术创新点在于引入了跟踪一致性和全局对象一致性正则化器，这些正则化器不仅稳定了学习过程，还将对象文件结构有效转移到全局帧嵌入中，显著提升了模型的表现。
关键设计：在关键设计方面，论文采用了多实例对比损失函数，并设计了轻量级对象文件结构，以便在稀疏的监督信号下仍能有效学习。此外，跟踪机制的实现也为候选对象的链接提供了重要支持。
🖼️ 关键图片
📊 实验亮点
在实验中，BabyMind在SAYCam-S数据集上实现了Labeled-S 15强制选择准确率的提升，较CVCL提高了2.6个百分点。此外，在词汇内的分布外基准测试中，BabyMind也展现出一致的性能提升，证明了其在处理复杂视觉-语言任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括儿童语言学习、教育机器人以及多模态交互系统。通过有效地将语言与视觉信息结合，能够帮助儿童更好地理解和学习语言，提升教育技术的智能化水平。未来，这种方法还可能扩展到其他领域，如人机交互和智能监控等。
📄 摘要（原文）
Learning grounded word meaning from natural experience requires resolving two ambiguities in infant-view recordings: when the named referent appears and where it is in a cluttered frame. In SAYCam-style data, caregiver speech is sparse and weakly synchronized with egocentric video, so single-frame contrastive pairing yields noisy positives in which the intended object is absent or entangled with distractors. We propose BabyMind, an object-first bias for child-view contrastive learning under sparse, noisy supervision. BabyMind extracts candidate object embeddings using an offline mask-based region interface, links candidates across a short utterance-centered window into lightweight object files via tracking, and aligns utterances to bags of object files with a prototype-space multiple-instance contrastive objective. Track-coherence and global-object agreement regularizers stabilize learning and transfer object-file structure into the global frame embedding used at evaluation. On SAYCam-S, BabyMind improves Labeled-S 15 forced-choice accuracy by +2.6 points over CVCL and yields consistent gains on in-vocabulary out-of-distribution benchmarks. Code is available atthis https URL.