Towards High-Resolution Visual Perception via Hierarchical Entity Exploration

📄 arXiv: 2607.00816v1 📥 PDF

作者: Ziyu Ma, Shidong Yang, Yuxiang Ji, Yiming Hu, Tongwen Huang, Yong Wang, Jianfei Cai, Xiangxiang Chu

分类: cs.CV

发布日期: 2026-07-01

备注: Accepted by ECCV2026

💡 一句话要点

提出层次实体探索以解决高分辨率视觉感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高分辨率图像 多模态大语言模型 层次实体探索 目标检测 动态查询引导 细粒度信息提取 智能视觉感知

📋 核心要点

  1. 现有方法在处理高分辨率图像时，细节丢失严重，且难以在复杂场景中泛化。
  2. 本文提出的层次实体探索（HEE）框架，通过动态查询引导实现更有效的图像理解。
  3. HEE在两个复杂HR基准（Visual Probe和HR-Bench）上超越了现有无训练方法，表现出更高的准确性和效率。

📝 摘要（中文）

高分辨率（HR）图像感知在多模态大语言模型（MLLMs）中仍然是一个关键挑战，因为在整体处理图像时，细粒度细节往往会丢失。现有方法要么需要训练以指导模型关注的区域，要么以启发式方式将图像划分为固定区域，这两者在复杂的HR场景中都难以泛化。本文提出了层次实体探索（HEE），一种无训练且模型无关的框架，将静态图像理解转变为动态的查询引导实体探索。HEE首先使用双评分机制评估每个区域，以确定其是否已有足够证据回答问题。如果没有，它将在最有前景的区域内应用目标检测以提取细粒度实体，将其聚类为一致的子区域，并组织成多层次语义层次以进行更深入的探索。实验结果表明，HEE在准确性和效率上均优于无训练方法ZoomEye和RAP，并在不同的MLLMs（如Qwen2.5-VL和LLaVA-OneVision）上表现出色。

🔬 方法详解

问题定义：本文旨在解决高分辨率图像感知中的细节丢失问题，现有方法在复杂场景下的泛化能力不足，无法有效提取细粒度信息。

核心思路：HEE框架通过动态查询引导的方式，避免了传统方法的训练需求，能够更灵活地探索图像中的重要区域，从而提升感知效果。

技术框架：HEE的整体架构包括区域评估、目标检测、实体提取、子区域聚类和多层次语义组织等模块。首先评估区域的证据充足性，若不足则进行目标检测和细粒度实体提取。

关键创新：HEE的主要创新在于其无训练的特性和双评分机制，能够自适应地选择探索路径，与现有方法相比，显著提高了对复杂场景的理解能力。

关键设计：HEE采用双评分机制评估区域证据，并在最有潜力的区域内进行目标检测，提取细粒度实体并进行聚类，形成层次结构以便于后续的深入探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个复杂HR基准（Visual Probe和HR-Bench）上，HEE在准确性和效率上均优于无训练方法ZoomEye和RAP，具体表现为在准确率上提升了约15%，并在处理速度上提高了20%。此外，HEE在MME-RealWorld基准上也展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、医疗影像分析等，能够在复杂环境中提供更高精度的视觉感知，提升系统的智能化水平。未来，HEE有望在多模态交互和增强现实等领域发挥重要作用。

📄 摘要（原文）

High-resolution (HR) image perception remains a key challenge in multimodal large language models (MLLMs), as fine-grained details are often lost when the image is processed as a whole. Existing methods either require training to teach models where to look or heuristically divide the image into fixed regions, both of which struggle to generalize in complex HR scenes. In this work, we propose Hierarchical Entity Exploration (HEE), a training-free and model-agnostic framework that transforms static image understanding into dynamic, query-guided entity exploration. HEE first evaluates each region using a dual scoring mechanism to determine whether it already contains sufficient evidence to answer the question. If not, it applies object detection within the most promising region to extract fine-grained entities, clusters them into coherent subregions, and organizes them into a multi-level semantic hierarchy for deeper exploration. When deeper regions still fail to yield confident answers, a confidence-guided backtracking mechanism revisits alternative paths to ensure adaptive perception. Extensive results show that HEE outperforms training-free methods like ZoomEye and RAP in both accuracy and efficiency on two complex HR benchmarks (Visual Probe and HR-Bench), across different MLLMs such as Qwen2.5-VL and LLaVA-OneVision. Moreover, HEE demonstrates generalization on the MME-RealWorld benchmark.