Seek to Segment: Active Perception for Panoramic Referring Segmentation
作者: Song Tang, Shuming Hu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang
分类: cs.CV
发布日期: 2026-07-02
备注: ECCV 2026, Project Page: https://henghuiding.com/APRS/
💡 一句话要点
提出PanoSeeker以解决主动全景指代分割问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动感知 全景指代分割 视觉-语言模型 记忆增强 机器人导航
📋 核心要点
- 现有的指代分割模型仅能处理静态图像，无法适应动态的360°环境，限制了其在具身AI中的应用。
- 本文提出PanoSeeker，通过结合视觉-语言模型和EgoSphere记忆模块，支持代理在全景环境中主动探索和分割目标。
- 在新建立的APRS基准上，PanoSeeker在搜索效率和分割准确性上显著优于现有的最先进方法，展示了其优越性。
📝 摘要（中文）
现有的指代分割模型被动处理固定视角的静态图像，限制了其在具身人工智能中的应用。为此，本文提出了一种新任务：主动全景指代分割（APRS），要求代理调整视角以探索360°环境，寻找用户指定的对象进行分割。我们提出了PanoSeeker，一个增强记忆的代理，能够高效执行APRS。PanoSeeker结合了视觉-语言模型与显式空间视觉记忆EgoSphere，通过逐步整合局部观察，规划高效的搜索轨迹。实验结果表明，PanoSeeker在搜索效率和分割精度上显著优于现有的基线模型。
🔬 方法详解
问题定义：本文旨在解决现有指代分割模型在动态360°环境中的局限性，现有方法无法主动探索和处理动态场景。
核心思路：提出主动全景指代分割（APRS）任务，设计PanoSeeker代理，通过集成视觉-语言模型与EgoSphere记忆模块，支持高效的目标搜索与分割。
技术框架：PanoSeeker的整体架构包括视觉-语言模型、EgoSphere空间记忆模块和搜索轨迹规划模块，代理通过调整视角进行目标探索。
关键创新：PanoSeeker的核心创新在于结合了显式空间记忆与视觉-语言理解，能够有效规划非冗余的搜索轨迹，区别于传统的启发式扫描方法。
关键设计：在模型设计中，采用了记忆增强机制，设置了特定的损失函数以优化搜索效率，并通过监督微调和强化学习后训练来提升模型性能。
🖼️ 关键图片
📊 实验亮点
在新建立的APRS基准上，PanoSeeker在搜索效率上提升了XX%，分割准确率提高了YY%，显著超越了现有的最先进基线，展示了其在主动感知任务中的优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能监控和增强现实等场景，能够提升机器在复杂环境中的目标识别与交互能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Existing referring segmentation models passively process static images captured from fixed perspectives, limiting their applicability in Embodied AI, where agents must perform active perception in the continuous 360$^\circ$ environments. To bridge this gap, we introduce a novel task: Active Panoramic Referring Segmentation (APRS). In this setting, an agent is required to adjust its viewing direction ($Δθ, Δφ$) to explore the 360$^\circ$ environment, seeking the object specified by a user instruction for segmentation. To tackle this challenging task, we propose PanoSeeker, a memory-augmented agent for efficient APRS. Rather than relying on heuristic scanning, PanoSeeker integrates a Vision-Language Model (VLM) with EgoSphere, an explicit spatial visual memory. By progressively integrating sequential local observations into a unified 360$^\circ$ representation, EgoSphere enables the agent to plan efficient and non-redundant search trajectories. Once the target is found, the agent performs active viewpoint alignment and outputs the segmentation mask. Furthermore, we curate an expert-annotated search trajectory dataset with memory timelines for Supervised Fine-Tuning, followed by Reinforcement Learning post-training to explicitly optimize PanoSeeker's exploration efficiency. Extensive experiments on our newly established APRS benchmark demonstrate that PanoSeeker achieves superior search efficiency and segmentation accuracy, significantly outperforming adapted state-of-the-art baselines.