Seek to Segment: Active Perception for Panoramic Referring Segmentation

📄 arXiv: 2607.02497 📥 PDF

作者: Song Tang, Shuming Hu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出PanoSeeker以解决全景指向分割中的主动感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动感知 全景分割 视觉-语言模型 空间视觉记忆 具身人工智能 搜索效率 分割准确性

📋 核心要点

  1. 现有的指向分割模型无法适应动态环境，限制了其在具身人工智能中的应用。
  2. 本文提出PanoSeeker，通过结合视觉-语言模型与空间视觉记忆，提升主动感知能力。
  3. 在新建立的APRS基准上，PanoSeeker在搜索效率和分割准确性上显著优于现有最先进方法。

📝 摘要（中文）

现有的指向分割模型被动处理固定视角的静态图像，限制了其在具身人工智能中的应用。为了解决这一问题，本文提出了一项新任务：主动全景指向分割（APRS）。在该任务中，代理需要调整视角以探索360°环境，寻找用户指令指定的对象进行分割。我们提出了PanoSeeker，一个增强记忆的代理，能够高效执行APRS。PanoSeeker结合了视觉-语言模型和显式空间视觉记忆EgoSphere，通过逐步整合局部观察，规划高效的搜索轨迹。实验结果表明，PanoSeeker在搜索效率和分割准确性上显著优于现有基线。

🔬 方法详解

问题定义：本文旨在解决现有指向分割模型在动态360°环境中被动处理静态图像的问题，导致其在具身人工智能中的应用受限。

核心思路：提出主动全景指向分割（APRS）任务，设计PanoSeeker代理，通过集成视觉-语言模型与EgoSphere空间记忆，提升代理的主动感知能力。

技术框架：PanoSeeker的整体架构包括局部观察的整合、搜索轨迹的规划和目标对齐三个主要模块。代理通过调整视角探索环境，并在找到目标后输出分割掩码。

关键创新：PanoSeeker的核心创新在于EgoSphere的引入，使得代理能够有效整合局部信息并规划非冗余的搜索轨迹，与现有方法相比，显著提升了搜索效率。

关键设计：在设计中，PanoSeeker使用了增强记忆机制，结合监督微调和强化学习后训练，以优化探索效率，具体的损失函数和网络结构细节在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在新建立的APRS基准上，PanoSeeker在搜索效率和分割准确性方面表现优异，具体数据显示其在搜索效率上提升了XX%，分割准确性提高了YY%，显著超越了现有最先进的基线方法。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能监控和虚拟现实等场景。通过提升代理在动态环境中的主动感知能力，PanoSeeker能够在复杂任务中实现更高的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing referring segmentation models passively process static images captured from fixed perspectives, limiting their applicability in Embodied AI, where agents must perform active perception in the continuous 360$^\circ$ environments. To bridge this gap, we introduce a novel task: Active Panoramic Referring Segmentation (APRS). In this setting, an agent is required to adjust its viewing direction ($\Delta\theta, \Delta\phi$) to explore the 360$^\circ$ environment, seeking the object specified by a user instruction for segmentation. To tackle this challenging task, we propose PanoSeeker, a memory-augmented agent for efficient APRS. Rather than relying on heuristic scanning, PanoSeeker integrates a Vision-Language Model (VLM) with EgoSphere, an explicit spatial visual memory. By progressively integrating sequential local observations into a unified 360$^\circ$ representation, EgoSphere enables the agent to plan efficient and non-redundant search trajectories. Once the target is found, the agent performs active viewpoint alignment and outputs the segmentation mask. Furthermore, we curate an expert-annotated search trajectory dataset with memory timelines for Supervised Fine-Tuning, followed by Reinforcement Learning post-training to explicitly optimize PanoSeeker's exploration efficiency. Extensive experiments on our newly established APRS benchmark demonstrate that PanoSeeker achieves superior search efficiency and segmentation accuracy, significantly outperforming adapted state-of-the-art baselines.