Objects Before Words: Object-First Inductive Biases for Grounding Language in Child-View Video
作者: Sathira Silva, Abrham Kahsay Gebreselasie, Muhammad Umer Sheikh, Kartik Kuckreja, Daniel Harari, Muhammad Haris Khan
分类: cs.CV
发布日期: 2026-06-11
🔗 代码/项目: GITHUB
💡 一句话要点
提出BabyMind以解决儿童视角视频中的语言基础问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 儿童语言学习 对比学习 多模态学习 计算机视觉 对象识别
📋 核心要点
- 现有方法在儿童视角视频中面临命名对象出现时机和位置的模糊性，导致学习效果不佳。
- 论文提出BabyMind，通过对象优先的对比学习策略，解决稀疏和噪声监督下的学习问题。
- 实验结果表明，BabyMind在SAYCam-S数据集上提升了2.6个百分点的准确率，并在词汇外基准测试中表现稳定。
📝 摘要（中文）
学习从自然经验中获取词义需要解决两个模糊性问题：命名指称何时出现以及在杂乱帧中的位置。在SAYCam风格的数据中，照顾者的语言稀疏且与自我中心视频的同步性较弱，因此单帧对比配对会产生噪声正样本，其中意图对象缺失或与干扰物纠缠。我们提出BabyMind，一种在稀疏、噪声监督下进行儿童视角对比学习的对象优先偏置。BabyMind通过离线掩膜区域接口提取候选对象嵌入，利用跟踪在短语音中心窗口中链接候选对象，并通过原型空间多实例对比目标将语音与对象文件包对齐。跟踪一致性和全局对象一致性正则化器稳定学习，并将对象文件结构转移到评估时使用的全局帧嵌入中。在SAYCam-S上，BabyMind相较于CVCL提高了Labeled-S 15强制选择准确率2.6个百分点，并在词汇外分布基准上持续提升。
🔬 方法详解
问题定义：本论文旨在解决儿童视角视频中语言与对象之间的基础对齐问题。现有方法在处理稀疏和噪声监督时，容易产生错误的正样本，影响学习效果。
核心思路：论文提出的BabyMind方法通过优先考虑对象的方式进行对比学习，利用对象嵌入和跟踪机制来提高学习的准确性和稳定性。
技术框架：BabyMind的整体架构包括三个主要模块：1) 离线掩膜区域接口提取候选对象嵌入；2) 通过跟踪在短语音中心窗口中链接候选对象；3) 使用多实例对比目标将语音与对象文件包对齐。
关键创新：BabyMind的创新在于引入了对象优先的对比学习策略，结合跟踪一致性和全局对象一致性正则化器，显著提高了学习的稳定性和准确性。
关键设计：在设计中，采用了轻量级对象文件结构，损失函数包括多实例对比损失，确保了语音与对象的有效对齐。
🖼️ 关键图片
📊 实验亮点
在SAYCam-S数据集上，BabyMind相较于CVCL提高了Labeled-S 15强制选择准确率2.6个百分点。此外，在词汇外分布基准测试中，BabyMind也展现出一致的性能提升，验证了其方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括儿童语言学习、机器人视觉理解和人机交互等。通过提升对儿童视角视频中语言与对象的理解能力，BabyMind有望在教育技术和智能助手等领域发挥重要作用，促进更自然的学习和交流方式。
📄 摘要（原文）
Learning grounded word meaning from natural experience requires resolving two ambiguities in infant-view recordings: when the named referent appears and where it is in a cluttered frame. In SAYCam-style data, caregiver speech is sparse and weakly synchronized with egocentric video, so single-frame contrastive pairing yields noisy positives in which the intended object is absent or entangled with distractors. We propose BabyMind, an object-first bias for child-view contrastive learning under sparse, noisy supervision. BabyMind extracts candidate object embeddings using an offline mask-based region interface, links candidates across a short utterance-centered window into lightweight object files via tracking, and aligns utterances to bags of object files with a prototype-space multiple-instance contrastive objective. Track-coherence and global-object agreement regularizers stabilize learning and transfer object-file structure into the global frame embedding used at evaluation. On SAYCam-S, BabyMind improves Labeled-S 15 forced-choice accuracy by +2.6 points over CVCL and yields consistent gains on in-vocabulary out-of-distribution benchmarks. Code is available at https://github.com/sathiiii/BabyMind.