EgoHieraLoc: A Cortically Inspired Hierarchical Segmentation-Guided Framework for Egocentric Visual Query Localization
作者: Yifei Cao, Guolong Wang, Mingliang Hou, Xiya Bu, Daming Liu, Yu Liu
分类: cs.CV
发布日期: 2026-08-10
备注: 60 pages, under review
💡 一句话要点
提出EgoHieraLoc以解决模糊边界下的视觉查询定位问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视觉查询定位 自我中心视频 分层感知 几何-语义联合置信度 目标识别 深度学习 多视角融合
📋 核心要点
- 现有的视觉查询定位方法在处理模糊边界和全局上下文不足时效果不佳，导致定位精度低。
- EgoHieraLoc框架通过分层感知机制，结合前景感知、查询感知和区域适应模块，提升了目标定位的鲁棒性。
- 实验结果显示，EgoHieraLoc在VQL-2D和VQL-3D基准上均达到了最先进的性能，显著优于现有方法。
📝 摘要（中文）
视觉查询定位（VQL）旨在从自我中心视频中检索和重新定位查询对象，但在对象边界模糊且全局上下文无法有效指导精细定位时仍然面临挑战。人类视觉通过分层过程处理这种模糊性，快速筛选前景候选，选择性关注目标，利用全局上下文与局部细节之间的反馈来细化感知。基于这些能力，本文提出了EgoHieraLoc，一个统一的VQL-2D和VQL-3D框架。该框架通过多个模块实现目标定位和边界恢复，实验结果表明其在VQL-2D和VQL-3D基准上均表现出色。
🔬 方法详解
问题定义：本文解决的是在自我中心视频中进行视觉查询定位时，如何在对象边界模糊和全局上下文不足的情况下实现精确定位的问题。现有方法在处理这些挑战时效果不理想，导致定位精度降低。
核心思路：EgoHieraLoc框架的核心思路是模仿人类视觉的分层处理机制，通过快速筛选前景候选、选择性关注目标和反馈机制来提升定位精度。该框架通过多个模块协同工作，增强了对目标的识别和定位能力。
技术框架：EgoHieraLoc框架主要包括三个模块：1) 判别解析模块，通过分割先验提取前景感知查询表示；2) 查询感知模块，利用判别相关滤波和可变形建模进行目标定位；3) 区域适应模块，将多尺度上下文反馈到局部区域，以恢复精确的对象边界。
关键创新：最重要的技术创新是引入几何-语义联合置信度（GSJC），该方法将分割置信度与局部深度一致性、多视角反投影一致性和三角测量基线质量相结合，确保视角对3D估计的贡献在语义和几何上均可信。
关键设计：在设计中，采用了多尺度特征提取和反馈机制，确保了局部细节与全局上下文的有效结合。此外，损失函数设计考虑了多种因素，以优化模型在不同场景下的表现。通过这些设计，EgoHieraLoc在定位精度和鲁棒性上取得了显著提升。
🖼️ 关键图片
📊 实验亮点
在VQL-2D和VQL-3D基准测试中，EgoHieraLoc展现了最先进的性能，相较于现有方法，定位精度提升了XX%（具体数据未知），并在多个测试场景中表现出色，证明了其有效性和实用性。
🎯 应用场景
EgoHieraLoc框架在增强现实、机器人导航和视频监控等领域具有广泛的应用潜力。通过提高视觉查询定位的精度和鲁棒性，该研究能够为智能系统提供更可靠的环境理解能力，推动相关技术的发展和应用。
📄 摘要（原文）
Visual query localization (VQL) aims to retrieve and re-localize a queried object in egocentric videos, yet remains challenging when object boundaries are ambiguous and global context cannot effectively guide fine-grained localization. Human vision handles such ambiguity through a hierarchical process: it rapidly screens foreground candidates, selectively attends to the target despite distractors, refines perception via feedback between global context and local detail, and, when a single view is unreliable, integrates evidence across viewpoints according to its credibility. Inspired by these competencies, we propose \textbf{EgoHieraLoc}, a unified framework for VQL-2D and VQL-3D. A Discriminative Parsing Module first extracts foreground-aware query representations using segmentation priors; a Query-Aware Module then performs robust target localization through discriminative correlation filtering with deformable modeling; and a Regional Adaptation Module feeds multi-scale context back into local regions to recover precise object boundaries. To extend this perceptual hierarchy to 3D localization, we introduce Geometric-Semantic Joint Confidence (GSJC), which multiplicatively couples segmentation confidence with local depth consistency, multi-view back-projection consistency, and triangulation-baseline quality, so that a viewpoint contributes to the 3D estimate only when it is credible both semantically and geometrically. Extensive experiments demonstrate state-of-the-art performance on both VQL-2D and -3D benchmarks.