EgoContact: Evaluating Physical Intelligence with Egocentric Video
作者: Adam Deryło, Alexey Gavryushin, Daniel Cremers, Marc Pollefeys, Xi Wang
分类: cs.RO, cs.CV
发布日期: 2026-10-29
备注: Project page: https://egocontact.github.io
💡 一句话要点
提出EgoContact以评估物理智能中的接触点预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心视频 物理智能 接触点预测 机器人操作 数据集 操作先验 交互事件
📋 核心要点
- 现有方法在多样化场景中预测精确接触点时表现不佳，且难以定位目标物体。
- EgoContact数据集通过提供手动验证的交互事件，帮助评估和提升接触点预测的准确性。
- 使用EgoContact作为现有策略的记忆库，显著提高了机器人抓取的成功率，验证了其实用性。
📝 摘要（中文）
EgoContact是一个大规模的自我中心视频数据集，旨在评估学习到的操作先验的可泛化性和精确性，特别是在未来接触点预测方面。该数据集包含22.5K个经过手动验证的交互事件，每个事件都包括接触前观察、语义意图和像素级接触位置。研究发现，现有方法在预测精确交互接触点时常常面临挑战，尤其是在多样化的真实场景中。此外，EgoContact的注释交互在机器人操作中的应用显示出显著的效果提升，模拟中的抓取成功率从14.2%提升至31.2%，真实机器人中从16%提升至58%。
🔬 方法详解
问题定义：本论文旨在解决在多样化场景中，现有方法在预测物体接触点时的精确性不足的问题。现有技术在复杂环境下的表现不佳，难以实现有效的物体交互。
核心思路：提出EgoContact数据集，通过丰富的标注交互事件，提供高质量的训练和验证数据，以提升机器人在物体操作中的接触点预测能力。
技术框架：EgoContact数据集包含22.5K个交互事件，涵盖接触前观察、语义意图和接触位置。研究通过对比现有策略，验证了数据集在提升操作成功率方面的有效性。
关键创新：EgoContact的最大创新在于其大规模的手动验证交互数据，提供了高精度的接触点标注，填补了现有数据集在物理智能评估方面的空白。
关键设计：数据集中的每个交互事件都经过精确标注，确保了接触点的像素级准确性。此外，研究中采用了多次预测机制，以评估模型在复杂场景中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用EgoContact作为记忆库，机器人抓取成功率在模拟环境中从14.2%提升至31.2%，在真实机器人中从16%提升至58%。这一显著提升验证了EgoContact在物理智能评估中的重要性和实用性。
🎯 应用场景
EgoContact数据集的潜在应用领域包括机器人抓取、物体操作和人机交互等。通过提供高质量的接触点预测数据，研究可以帮助提升机器人在实际环境中的操作能力，推动智能机器人技术的发展。未来，该数据集还可能成为物理智能研究的标准基准，促进相关领域的进一步探索与创新。
📄 摘要（原文）
Egocentric video has emerged as one of the most scalable sources of data for learning generalizable manipulation priors. Yet, despite its growing use in pretraining robotic policies, it has been underutilized as a validation tool for physical intelligence, a key component of which is understanding where to make contact with an object to achieve an intended interaction. We present EgoContact, a large-scale egocentric dataset for evaluating the generalizability and precision of learned manipulation priors through future contact-point prediction. EgoContact contains 22.5K manually verified interaction events, each with a pre-contact observation, semantic intent, and pixel-precise contact locations. We find that current methods often struggle to predict precise interaction contacts and sometimes fail to localize the target object in diverse, in-the-wild scenes, even when allowed multiple predictions. Furthermore, we demonstrate the usefulness of EgoContact's annotated interactions for robotic manipulation: simply using EgoContact as the memory bank of an existing affordance-transfer policy improves grasp success from 14.2% to 31.2% in simulation and from 16% to 58% on a real robot.