Unique Lives, Shared World: Learning from Single-Life Videos

📄 arXiv: 2512.04085v1 📥 PDF

作者: Tengda Han, Sayna Ebrahimi, Dilara Gokay, Li Yang Ku, Maks Ovsjanikov, Iva Babukova, Daniel Zoran, Viorica Patraucean, Joao Carreira, Andrew Zisserman, Dima Damen

分类: cs.CV

发布日期: 2025-12-03

💡 一句话要点

提出单一生涯学习范式，利用个体生活视频自监督学习通用视觉表征。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知 (Perception & SLAM)

关键词: 单一生涯学习 自监督学习 视觉表征学习 自我中心视觉 几何理解

📋 核心要点

  1. 现有视觉表征学习方法依赖于大量多样化数据，忽略了个体生活视频中蕴含的丰富几何信息。
  2. 提出单一生涯学习范式，利用个体生活视频中的多视角信息，自监督学习视觉表征。
  3. 实验表明，单一生涯模型学习到的表征具有良好的泛化性和几何理解能力，可迁移至下游任务。

📝 摘要（中文）

本文提出了一种“单一生涯”学习范式，即仅使用一个个体拍摄的自我中心视频来训练一个独立的视觉模型。我们利用单一生涯中自然捕获的多个视角，以自监督的方式学习视觉编码器。实验结果表明三个关键发现。首先，独立训练于不同生涯的模型发展出高度对齐的几何理解。我们通过在捕获不同生涯的不同数据集上独立训练视觉编码器来证明这一点，这些数据集既包括室内也包括室外场景。此外，我们还引入了一种基于交叉注意力的新颖指标来量化不同模型开发的内部表征的功能对齐。其次，我们表明单一生涯模型学习到的通用几何表征可以有效地迁移到下游任务，例如在未见环境中的深度估计。第三，我们证明了在同一个人一周的生活中训练长达30小时的模型，其性能与在30小时的各种网络数据上训练的模型相当，突出了单一生涯表征学习的优势。总的来说，我们的结果表明，世界的共享结构既导致了在个体生涯上训练的模型的连贯性，也为视觉表征学习提供了强大的信号。

🔬 方法详解

问题定义：现有视觉表征学习方法通常依赖于大规模、多样化的数据集，例如ImageNet或大规模视频数据集。然而，这些方法忽略了个体在日常生活中通过自我中心视角获得的丰富几何信息和上下文关系。现有方法难以有效利用单一个体生活中的多视角、时间一致性等信息，从而限制了模型对场景几何和个体行为的理解能力。

核心思路：本文的核心思路是利用单一个体在一段时间内（例如一周）的生活视频，通过自监督学习的方式，训练一个专门针对该个体生活场景的视觉表征模型。这种方法的核心假设是，即使是单一个体，其生活场景也包含了足够的多样性和结构信息，可以用于学习通用的视觉表征。通过利用个体生活中的多视角、时间一致性等信息，模型可以更好地理解场景的几何结构和个体行为。

技术框架：整体框架包括数据收集、数据预处理、模型训练和评估四个主要阶段。首先，通过佩戴相机记录个体一周的生活视频。然后，对视频进行预处理，例如关键帧提取、视角校正等。接下来，使用自监督学习方法训练视觉编码器，例如对比学习或掩码图像建模。最后，在下游任务上评估学习到的表征，例如深度估计或语义分割。

关键创新：最重要的创新点在于提出了“单一生涯”学习范式，即仅使用一个个体生活视频进行视觉表征学习。与传统的依赖大规模数据集的方法不同，该方法更加注重利用个体生活中的多视角、时间一致性等信息。此外，本文还提出了一种基于交叉注意力的新颖指标，用于量化不同模型学习到的内部表征的功能对齐程度。

关键设计：在模型训练方面，可以使用对比学习损失，例如InfoNCE，来鼓励模型学习到视角不变的表征。可以使用时间一致性损失，例如预测未来帧的特征，来鼓励模型学习到时间一致的表征。在网络结构方面，可以使用Transformer或卷积神经网络作为视觉编码器。关键参数包括学习率、batch size、训练epochs等。交叉注意力机制用于衡量不同模型学习到的表征之间的相似性，通过计算不同模型输出特征之间的注意力权重，可以量化它们的功能对齐程度。

📊 实验亮点

实验结果表明，单一生涯模型学习到的表征具有良好的泛化性和几何理解能力。在深度估计任务上，单一生涯模型在未见环境中的表现与在ImageNet上预训练的模型相当。此外，使用同一个人一周的生活视频训练30小时的模型，其性能与使用30小时的各种网络数据训练的模型相当，突出了单一生涯表征学习的优势。

🎯 应用场景

该研究成果可应用于个性化机器人助手、智能家居、可穿戴设备等领域。例如，机器人可以根据个体生活习惯和场景进行定制化服务，智能家居系统可以更好地理解用户行为并提供更智能的控制，可穿戴设备可以提供更准确的健康监测和行为分析。此外，该方法还可以用于训练针对特定人群或场景的视觉模型，例如老年人辅助系统或工业巡检机器人。

📄 摘要（原文）

We introduce the "single-life" learning paradigm, where we train a distinct vision model exclusively on egocentric videos captured by one individual. We leverage the multiple viewpoints naturally captured within a single life to learn a visual encoder in a self-supervised manner. Our experiments demonstrate three key findings. First, models trained independently on different lives develop a highly aligned geometric understanding. We demonstrate this by training visual encoders on distinct datasets each capturing a different life, both indoors and outdoors, as well as introducing a novel cross-attention-based metric to quantify the functional alignment of the internal representations developed by different models. Second, we show that single-life models learn generalizable geometric representations that effectively transfer to downstream tasks, such as depth estimation, in unseen environments. Third, we demonstrate that training on up to 30 hours from one week of the same person's life leads to comparable performance to training on 30 hours of diverse web data, highlighting the strength of single-life representation learning. Overall, our results establish that the shared structure of the world, both leads to consistency in models trained on individual lives, and provides a powerful signal for visual representation learning.