UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

📄 arXiv: 2606.20559v1 📥 PDF

作者: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

分类: cs.CV, cs.LG

发布日期: 2026-06-18

💡 一句话要点

提出UNIEGO以解决单视角视频理解的局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视频理解 多教师蒸馏 代理模型 选择性蒸馏 知识转移

📋 核心要点

  1. 现有的自我中心视频理解方法受限于可穿戴摄像头的狭窄视角，无法全面捕捉人类动作的复杂性。
  2. 论文提出了一种层次化的多教师蒸馏框架，通过代理模型将不同模态和视角的知识转化为统一的自我中心表示。
  3. UNIEGO在动作识别、视频检索和动作分割等三个任务上表现出色，超越了传统方法，展示了更强的表示能力。

📝 摘要（中文）

本论文探讨了以自我为中心的视频理解的局限性，指出单一视角、单一模态和单一模型无法全面捕捉人类动作的丰富性。为此，提出了一种层次化的多教师蒸馏框架，生成了UNIEGO，一个统一的自我中心编码器，利用九个教师模型跨越自我-外部视角、RGB、深度和骨架模态进行训练。该框架通过代理模型将多样的教师知识转化为同质的自我中心空间，并通过选择性代理蒸馏（SPD）适应性地选择可靠的代理进行蒸馏。UNIEGO在三个自我中心视频理解任务上实现了最先进的性能，超越了传统的多教师蒸馏基线，证明了结构化的代理介导知识转移能够产生更丰富和更具辨别力的自我中心表示。

🔬 方法详解

问题定义：本论文旨在解决现有自我中心视频理解方法在单一视角和模态下的局限性，导致无法全面捕捉人类动作的丰富性和复杂性。现有方法在处理来自不同教师模型的知识时，常常面临架构不兼容和特征几何不一致的问题，导致梯度冲突。

核心思路：论文提出的核心思路是通过引入代理模型作为中介，将多样的教师知识转化为统一的自我中心空间，从而实现更有效的知识蒸馏。选择性代理蒸馏（SPD）进一步优化了蒸馏过程，确保只从可靠的教师模型中提取知识。

技术框架：整体架构包括两个主要阶段：首先是通过代理模型进行知识转化，然后是选择性代理蒸馏阶段，针对每个训练样本选择最可靠的代理进行蒸馏。UNIEGO的初始化采用了代理参数的学习凸组合，以确保模型在良好的损失景观区域内开始训练。

关键创新：最重要的技术创新在于引入了代理模型作为知识转化的中介，解决了多教师模型之间的知识冲突问题。此外，选择性代理蒸馏的设计使得模型能够自适应选择最可靠的知识来源，显著提高了蒸馏效果。

关键设计：论文中设计了层次化的多教师蒸馏框架，采用了代理模型进行知识转化，并在选择性代理蒸馏中引入了自适应选择机制。损失函数的设计考虑了代理模型的可靠性，确保了蒸馏过程的稳定性和有效性。通过这种方式，UNIEGO能够在复杂的自我中心视频理解任务中表现出色。

📊 实验亮点

UNIEGO在三个自我中心视频理解任务上实现了最先进的性能，具体表现为在动作识别、视频检索和动作分割任务上超越了传统的多教师蒸馏基线，展现出显著的性能提升，证明了代理介导知识转移的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能监控、虚拟现实、增强现实和人机交互等领域。通过提供更丰富的自我中心视频表示，UNIEGO能够提升这些应用的智能化水平和用户体验，推动相关技术的发展与创新。

📄 摘要（原文）

Egocentric video understanding is inherently limited by the narrow perspective of wearable cameras: a single viewpoint, a single modality, a single model cannot capture the full richness of human action. We argue that a truly expressive egocentric representation must subsume complementary knowledge across viewpoints, modalities, and foundation model representations, yet remain deployable from egocentric video alone. To this end, we introduce a hierarchical multi-teacher distillation framework that produces UNIEGO, a unified egocentric encoder trained with nine teachers spanning ego-exo viewpoints, RGB, depth, and skeleton modalities, and four foundation models. Rather than distilling directly from heterogeneous teachers whose incompatible architectures and feature geometries induce conflicting gradients, our framework interposes a layer of representation-specific Proxy models that translate diverse teacher knowledge into a homogeneous egocentric space. A second distillation stage, Selective Proxy Distillation (SPD), then adaptively selects, for each training sample, the subset of proxies that are both correct and confident, distilling exclusively from reliable supervision and suppressing erroneous signals. SPD is further stabilized by initializing UNIEGO as a learned convex combination of proxy parameters, placing the unified model in a well-conditioned region of the loss landscape before distillation begins. UNIEGO achieves state-of-the-art performance across three egocentric video understanding tasks - action recognition, video retrieval, and action segmentation on three challenging ego-exo benchmarks, outperforming naive multi-teacher distillation baselines and demonstrating that structured, proxy-mediated knowledge transfer yields richer and more discriminative egocentric representations.