The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering
作者: Yuqian Fu, Tianwen Qian, Yanjun Li, Yu Li, Kunyu Peng, Xu Zheng, Yongqin Xian, Alessio Tonioni, Yanwei Fu, Xiaoling Wang, Danda Paudel, Federico Tombari, Luc Van Gool, Leyi Wu, Yifan Zhao, Jinjie Zhang, Yinchuan Li, Yingcong Chen, Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie, Takuya Murakawa, Toru Tamaki, Yi Wen, Zhenglin Du, Zhengyang Li, Lingling Li, Licheng Jiao, Wenping Ma
分类: cs.CV, cs.AI
发布日期: 2026-08-05
备注: 1st EgoCross challenge @ EgoVis workshop, CVPR26
💡 一句话要点
提出EgoCross基准以解决跨领域第一人称视频问答问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨领域学习 第一人称视频 问答系统 多模态模型 挑战赛 视频理解 模型泛化 技术评估
📋 核心要点
- 核心问题：现有方法在处理跨领域第一人称视频问答时，往往无法有效泛化到不同场景，限制了应用范围。
- 方法要点：论文提出EgoCross基准，通过设置不同的赛道，评估模型在多样化场景下的问答能力，促进技术进步。
- 实验或效果：挑战赛吸引了超过130个参与者，提交超过1500份方案，展示了多种模型在复杂场景下的表现和提升。
📝 摘要（中文）
EgoCross是一个跨领域的第一人称视频问答基准，旨在评估多模态大型语言模型在超越常见日常场景中的泛化能力。首届EgoCross挑战赛在2026年CVPR的第三届EgoVis研讨会上举办，评估模型在四个目标领域（手术、工业组装、极限运动和动物视角）中的表现。每个测试示例由一个第一人称视频片段、一个问题和四个候选答案组成，模型需选择正确选项。该技术报告介绍了挑战任务、基准资源及两个官方Codabench赛道，分别为源限制赛道和开源赛道。挑战共收到超过1500份提交，参与者超过130人。所有资源，包括挑战数据和获胜团队发布的代码，均已公开。
🔬 方法详解
问题定义：本论文旨在解决跨领域第一人称视频问答的挑战，现有方法在不同领域的泛化能力不足，限制了其应用潜力。
核心思路：论文通过设计EgoCross基准，评估多模态大型语言模型在四个特定领域的表现，旨在推动模型在复杂场景下的泛化能力。
技术框架：整体架构包括两个主要赛道：源限制赛道和开源赛道。源限制赛道要求使用官方基线模型和小型支持集，而开源赛道允许更广泛的模型和训练数据选择。
关键创新：最重要的创新在于引入了跨领域评估机制，允许模型在手术、工业组装、极限运动和动物视角等多样化场景中进行测试，显著提升了模型的适应性。
关键设计：在设计中，采用了特定的损失函数和评估指标，以确保模型在选择正确答案时的准确性和鲁棒性，同时限制了手动构建目标领域训练数据的可能性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EgoCross挑战赛共收到超过1500份提交，参与者超过130人，其中开源赛道有19支团队，源限制赛道有38支团队。通过对比基线，部分模型在复杂场景下的问答准确率提升显著，展示了跨领域学习的潜力。
🎯 应用场景
该研究的潜在应用领域包括医疗、工业自动化、运动分析和动物行为研究等。通过提升模型在不同领域的问答能力，EgoCross基准能够为相关行业提供更智能的决策支持，推动技术的实际应用与发展。
📄 摘要（原文）
EgoCross is a cross-domain egocentric video question answering benchmark designed to evaluate whether multimodal large language models can generalize beyond common daily-life scenarios. The first EgoCross Challenge was hosted at the Third EgoVis Workshop at CVPR 2026 and evaluated models on first-person videos from four target domains: surgery, industrial assembly, extreme sports, and animal perspectives. Each test example consists of an egocentric video clip, a question, and four candidate answers, from which the model must select the correct option. This technical report introduces the challenge task, benchmark resources, and two official Codabench tracks. The Source-Limited Track restricts participants to the official baseline model and a small support set, whereas the Open-Source Track permits broader choices of models and training data under rules that prohibit the manual construction of target-domain training data. In total, the challenge received more than 1,500 submissions from over 130 participants, with 19 teams participating in the Open-Source Track and 38 teams in the Source-Limited Track. We further present the official leaderboard results and summarize the winning solutions from both tracks. We hope that this report will serve as a useful technical reference for advancing cross-domain egocentric video understanding. All resources, including the challenge data, baseline implementation, and code released by the winning teams, are made publicly available.