EAGLE-360: Embodied Active Global-to-Local Exploration in 360$^\circ$

📄 arXiv: 2607.02479 📥 PDF

作者: Jingtao Xu, Zizhuo Lin, Jianwen Sun, Yi Yang, Yawei Luo

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出EAGLE-360以解决360°全景环境中的主动视觉搜索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全景视觉 主动搜索 空间推理 多模态学习 机器人导航 虚拟现实 数据集构建

📋 核心要点

  1. 现有的全景搜索方法依赖于局部视角，导致探索效率低下且难以恢复目标。
  2. EAGLE-360通过利用全局先验信息，建立初始的整体视角，逐步缩小搜索范围，提升搜索效率。
  3. 实验表明，EAGLE-360在360°视觉搜索中准确性提高近8倍，显著提升了探索效率。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）在标准视觉理解中表现出色，但在360°全景环境中的主动视觉搜索中暴露出基本局限性。现有方法难以有效建模全景特性，如极端的极坐标失真和连续的圆柱拓扑，导致目标检测准确性显著下降。为此，本文提出EAGLE-360，一个新颖的具身主动全局到局部探索框架，通过利用全局先验建立初始整体视角，逐步推理并缩小搜索空间。我们构建了大规模的EAGLE-360数据集，并通过结合监督微调和组相对策略优化的训练流程，显著提升了空间推理和工具调用能力。实验结果表明，EAGLE-360在360°视觉搜索中建立了新的最先进水平，准确性提高近8倍，同时显著增强了探索效率。

🔬 方法详解

问题定义：本文旨在解决在360°全景环境中进行主动视觉搜索时，现有方法因依赖局部视角而导致的探索效率低下和目标检测准确性不足的问题。

核心思路：EAGLE-360的核心思路是利用全局先验信息，建立一个初步的整体视角，而不是进行耗时的局部搜索。通过逐步推理，EAGLE-360能够有效缩小搜索空间，提高目标检测的准确性和效率。

技术框架：EAGLE-360框架包括全局视角建立、局部搜索优化和错误恢复三个主要模块。首先，通过RoPE Rolling机制对全景的连续拓扑进行建模，然后进行局部搜索，最后实现对目标的有效跟踪和恢复。

关键创新：EAGLE-360的主要创新在于引入了RoPE Rolling这一坐标转移位置编码机制，使得全景特性得以更好地建模，从而克服了现有方法在极坐标失真和圆柱拓扑建模上的不足。

关键设计：在训练过程中，采用了监督微调（SFT）与组相对策略优化（GRPO）的结合，优化了模型的空间推理和工具调用能力。此外，构建了包含14000多个4K全景图和70000多轮高质量VQA对话的大规模EAGLE-360数据集，以支持模型的训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EAGLE-360在360°视觉搜索中实现了近8倍的准确性提升，相较于基线模型，探索效率显著增强。实验结果表明，该方法在处理复杂全景环境时表现出色，建立了新的最先进水平。

🎯 应用场景

EAGLE-360的研究成果在多个领域具有潜在应用价值，包括虚拟现实、机器人导航和智能监控等。通过提升360°全景环境中的视觉搜索能力，该框架能够为自动化系统提供更高效的目标识别和跟踪能力，从而推动相关技术的发展和应用。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have demonstrated exceptional capabilities in standard visual understanding, adapting them for active visual search in 360$^\circ$ panoramic environments exposes fundamental limitations. Specifically, standard MLLMs struggle to effectively model inherent panoramic properties, such as severe polar distortion and continuous cylindrical topologies, which significantly degrades target detection accuracy. Consequently, existing panoramic search methods attempt to compensate by relying heavily on fragmented local viewpoints. Burdened by rigid initialization and a lack of global panoramic priors, these approaches suffer from myopic, inefficient exploration and struggle with robust error recovery when targets are out of view. To overcome these challenges, we propose EAGLE-360, a novel Embodied Active Global-to-Local Exploration framework. Rather than performing exhaustive local searches, EAGLE-360 leverages global priors to establish an initial holistic perspective, iteratively reasoning and progressively narrowing the search space. Architecturally, we adapt RoPE Rolling, a coordinate-shifting positional encoding mechanism, to seamlessly model the continuous topologies of panoramas. To facilitate this paradigm, we construct the large-scale EAGLE-360 dataset, comprising 14,000+ 4K panoramas and 70,000+ rounds of high-quality VQA dialogues. By employing a training pipeline that integrates Supervised Fine-Tuning (SFT) with Group Relative Policy Optimization (GRPO), we effectively elicit complex spatial reasoning and tool-calling capabilities. Extensive experiments demonstrate that EAGLE-360 establishes a new state-of-the-art for 360$^\circ$ visual search, achieving nearly an 8-fold increase in accuracy over the base model while significantly enhancing exploration efficiency.