EAGLE-360: Embodied Active Global-to-Local Exploration in 360$^\circ$

📄 arXiv: 2607.02479v1 📥 PDF

作者: Jingtao Xu, Zizhuo Lin, Jianwen Sun, Yi Yang, Yawei Luo

分类: cs.CV

发布日期: 2026-07-02

备注: Preprint

💡 一句话要点

提出EAGLE-360以解决360°全景环境中的主动视觉搜索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 360°视觉搜索 主动探索 全局先验 多模态学习 空间推理 数据集构建 机器人导航

📋 核心要点

  1. 现有的多模态大型语言模型在360°全景环境中的主动视觉搜索中面临建模全景特性不足的问题，导致目标检测精度低下。
  2. EAGLE-360框架通过利用全局先验信息，建立初始整体视角，逐步推理并缩小搜索空间，从而提高搜索效率和准确性。
  3. 实验结果表明，EAGLE-360在360°视觉搜索中达到了新的最优状态，精度较基础模型提升近8倍，探索效率显著增强。

📝 摘要（中文）

尽管多模态大型语言模型（MLLMs）在标准视觉理解中表现出色，但在360°全景环境中的主动视觉搜索中暴露出基本局限性。现有方法难以有效建模全景特性，如极端的极坐标失真和连续的圆柱拓扑，导致目标检测精度显著下降。为了解决这些挑战，本文提出了EAGLE-360，一个新颖的具身主动全局到局部探索框架。EAGLE-360利用全局先验建立初始整体视角，逐步推理并缩小搜索空间。通过构建大规模EAGLE-360数据集并采用监督微调与群体相对策略优化相结合的训练流程，EAGLE-360在360°视觉搜索中实现了近8倍的精度提升，并显著提高了探索效率。

🔬 方法详解

问题定义：本文旨在解决现有多模态大型语言模型在360°全景环境中进行主动视觉搜索时的局限性，尤其是对全景特性建模不足的问题。现有方法依赖于局部视角，导致探索效率低下和目标检测精度不足。

核心思路：EAGLE-360框架的核心思路是利用全局先验信息来建立初始的整体视角，而不是进行耗时的局部搜索。通过逐步推理，EAGLE-360能够有效缩小搜索空间，提升目标检测的准确性和效率。

技术框架：EAGLE-360的整体架构包括全局视角建立、局部搜索优化和错误恢复机制。首先，通过RoPE Rolling坐标偏移位置编码机制建模全景的连续拓扑，然后进行迭代推理以逐步缩小搜索范围。

关键创新：EAGLE-360的主要创新在于其全局到局部的探索策略，结合了全局先验和局部搜索的优势，显著提高了360°视觉搜索的效率和准确性。这与传统方法的局限性形成鲜明对比。

关键设计：在技术细节上，EAGLE-360采用了大规模的EAGLE-360数据集，包含14000多张4K全景图和70000多轮高质量VQA对话。同时，训练流程结合了监督微调和群体相对策略优化，以有效引导复杂的空间推理和工具调用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EAGLE-360在360°视觉搜索中取得了显著的实验成果，精度较基础模型提升近8倍，探索效率显著增强。这一成果不仅确立了新的最优状态，还展示了全局到局部探索策略的有效性，为未来的研究提供了重要参考。

🎯 应用场景

EAGLE-360的研究成果在多个领域具有潜在应用价值，包括虚拟现实、机器人导航和智能监控等。通过提高360°全景环境中的目标检测和搜索效率，该框架能够为相关技术的发展提供新的思路和方法，推动智能系统在复杂环境中的应用。未来，EAGLE-360可能会在自动驾驶、无人机巡逻等领域发挥重要作用。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have demonstrated exceptional capabilities in standard visual understanding, adapting them for active visual search in 360$^\circ$ panoramic environments exposes fundamental limitations. Specifically, standard MLLMs struggle to effectively model inherent panoramic properties, such as severe polar distortion and continuous cylindrical topologies, which significantly degrades target detection accuracy. Consequently, existing panoramic search methods attempt to compensate by relying heavily on fragmented local viewpoints. Burdened by rigid initialization and a lack of global panoramic priors, these approaches suffer from myopic, inefficient exploration and struggle with robust error recovery when targets are out of view. To overcome these challenges, we propose EAGLE-360, a novel Embodied Active Global-to-Local Exploration framework. Rather than performing exhaustive local searches, EAGLE-360 leverages global priors to establish an initial holistic perspective, iteratively reasoning and progressively narrowing the search space. Architecturally, we adapt RoPE Rolling, a coordinate-shifting positional encoding mechanism, to seamlessly model the continuous topologies of panoramas. To facilitate this paradigm, we construct the large-scale EAGLE-360 dataset, comprising 14,000+ 4K panoramas and 70,000+ rounds of high-quality VQA dialogues. By employing a training pipeline that integrates Supervised Fine-Tuning (SFT) with Group Relative Policy Optimization (GRPO), we effectively elicit complex spatial reasoning and tool-calling capabilities. Extensive experiments demonstrate that EAGLE-360 establishes a new state-of-the-art for 360$^\circ$ visual search, achieving nearly an 8-fold increase in accuracy over the base model while significantly enhancing exploration efficiency.