Seeing the World and the Self from Egocentric Video

📄 arXiv: 2609.01276v1 📥 PDF

作者: Kai Guan, Minchao Jiang, Ruichen WangLi, Wentao Zhu, Lei Zhang

分类: cs.CV

发布日期: 2026-09-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RESELF框架以解决自我中心视频的3D感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视频 3D感知 几何重建 运动估计 深度学习

📋 核心要点

  1. 现有方法通常将场景重建和运动估计分开处理，导致信息缺失和性能下降。
  2. RESELF框架通过结合几何重建与运动生成，解决了两者之间的相互依赖问题。
  3. 实验结果显示，RESELF在多个任务上超越了当前最先进的方法，提升了整体性能。

📝 摘要（中文）

从自我中心视频中实现完整的3D感知需要在共享的度量框架中恢复周围场景和佩戴者的全身运动。现有方法通常分别处理场景重建和运动估计，导致场景重建方法忽略佩戴者，而运动估计方法缺乏明确的场景几何信息。为此，本文提出了RESELF框架，将确定性几何重建与几何条件的运动生成相结合。RESELF通过适应在大规模外部数据上预训练的几何基础模型，使用帧级别的尺度和相对姿态一致性目标来处理自我中心视频。实验结果表明，RESELF在深度估计、相机跟踪和全身运动估计等任务上优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决从自我中心视频中同时恢复周围场景和佩戴者全身运动的问题。现有方法在处理场景重建和运动估计时存在信息孤岛，导致性能不足。

核心思路：RESELF框架通过将几何重建与运动生成相结合，利用可见场景进行确定性回归，同时对严重遮挡的身体进行生成性运动推断，从而实现联合恢复。

技术框架：RESELF的整体架构包括两个主要模块：几何重建模块和运动生成模块。几何重建模块使用大规模外部数据预训练的几何基础模型，通过帧级别的一致性目标适应自我中心视频；运动生成模块则利用相机轨迹和潜在几何特征来条件化扩散模型。

关键创新：RESELF的创新在于将确定性几何回归与生成性运动推断结合，克服了现有方法在信息处理上的不对称性。

关键设计：在设计中，采用了帧级别的尺度和相对姿态一致性损失函数，以确保几何重建的准确性。同时，闭环运动反馈阶段进一步优化相机头部的运动，同时保持重建场景的几何结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RESELF在深度估计、相机跟踪和全身运动估计等任务上均优于现有最先进的方法，具体性能提升幅度达到XX%。该框架的有效性在多个基准测试中得到了验证，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景。通过实现更准确的3D感知，RESELF能够提升用户体验，推动相关技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Complete 3D perception from egocentric video requires recovering the surrounding scene and the wearer's full-body motion in a shared metric frame. Existing methods typically address scene reconstruction and motion estimation separately: scene reconstruction methods ignore the wearer, whereas motion estimation methods lack explicit scene geometry and often depend on external trajectories. Joint recovery is challenging because the two tasks exhibit asymmetric visibility and require different prediction paradigms. The largely visible scene supports deterministic geometric regression, whereas the severely occluded body requires generative motion inference. We therefore propose RESELF (REconstructing the Scene and the sELF), a unified framework that couples deterministic metric geometry reconstruction with geometry-conditioned motion generation. RESELF adapts a geometry foundation model pre-trained on large-scale exocentric data to egocentric video using frame-wise scale and relative-pose consistency objectives. The resulting camera trajectory and latent geometric features condition a diffusion model that recovers the wearer's motion. A subsequent closed-loop kinematic feedback stage further refines the camera head while preserving the reconstructed scene geometry. To support training and evaluation, we curate EE4D-JSM from EgoExo4D by aligning egocentric video, sparse metric scene geometry, camera trajectories, and full-body motion annotations. Experiments show that RESELF outperforms state-of-the-art methods designed for the individual tasks across depth estimation, camera tracking, and full-body motion estimation. Code, models, and datasets will be available at https://ka1guan.github.io/RESELF/.