USS: Unified Spatial-Semantic Prompts for Embodied Visual Tracking with Latent Dynamics Learning

📄 arXiv: 2606.25880v1 📥 PDF

作者: Yuchen Xie, Xinyu Zhou, Kuangji Zuo, Yanshuo Lu, Fengrui Huang, Boyu Ma, Jianfei Yang

分类: cs.CV

发布日期: 2026-06-24

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出统一空间-语义提示以解决模糊目标定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 具身视觉跟踪 空间-语义提示 多模态融合 潜在世界模型 自监督学习 动态环境 目标指示

📋 核心要点

  1. 现有的具身视觉跟踪方法主要依赖语言描述进行目标指示，但在复杂场景中容易导致模糊的目标定位。
  2. 本文提出的USS框架通过统一空间-语义提示，支持多种提示方式，提升了目标指示的精确性和灵活性。
  3. 实验结果显示，USS在真实机器人实验中成功率高于文本提示，且在模拟基准中表现出色，具有更快的推理速度。

📝 摘要（中文）

本文提出了一种新的框架USS（Unified Spatial-Semantic Prompts），用于解决在动态环境中进行的具身视觉跟踪（EVT）中的目标指示模糊问题。现有的EVT方法主要依赖语言描述进行目标指示，但在复杂场景中，多个对象可能满足相同的语义描述，导致目标定位不明确。USS通过统一的空间-语义提示，支持文本、点、边界框和掩码等多种提示方式，结合异构提示编码和混合注意力机制，生成紧凑的提示条件表示。实验结果表明，使用空间目标提示的成功率高于仅使用文本提示，尤其在存在相似干扰物和长时间跟踪的场景中，保持实例级目标身份至关重要。

🔬 方法详解

问题定义：本文旨在解决具身视觉跟踪中目标指示模糊的问题，现有方法多依赖语言描述，导致在复杂场景中难以准确定位目标。

核心思路：USS框架通过引入统一的空间-语义提示，结合文本、点、边界框和掩码等多种提示形式，增强了目标指示的准确性和灵活性。

技术框架：USS的整体架构包括异构提示编码模块、混合注意力机制和紧凑提示条件表示解码模块，能够有效融合不同模态的提示信息与视觉特征。

关键创新：USS的主要创新在于其统一的空间-语义提示机制，显著提升了目标指示的精度，相较于传统的文本指示方法，能够更好地处理复杂场景中的多目标干扰。

关键设计：USS采用了模态特定的编码器来处理不同类型的提示，并通过混合注意力机制将提示令牌与视觉特征进行融合，此外，还引入了潜在世界模型以增强时间鲁棒性。实验中采用自监督对齐来预测未来表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在真实机器人实验中，USS框架的成功率明显高于仅使用文本提示的基线，尤其在存在相似干扰物和长时间跟踪的情况下，表现出更强的实例级目标身份保持能力。在模拟基准测试中，USS在非MLLM基础方法中实现了最先进的性能，并与最新的MLLM基础方法相比，展现出更快的推理速度。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、增强现实等场景，能够为这些领域中的目标跟踪提供更为精确和灵活的解决方案。随着技术的进步，USS框架有望在复杂动态环境中实现更高效的目标跟踪，推动智能体的自主决策能力。

📄 摘要（原文）

Embodied Visual Tracking (EVT) requires an agent to continuously follow a specified target while actively moving through dynamic environments. However, prevailing EVT paradigms predominantly rely on language-based target indication. While language is expressive and convenient, cluttered scenes often contain multiple objects that satisfy the same semantic description, leading to ambiguous target grounding. We therefore propose a paradigm shift, reframing target indication in EVT from text-only specification to unified spatial-semantic prompting. Based on this paradigm, we introduce Unified Spatial-Semantic Prompts for Embodied Visual Tracking with Latent Dynamics Learning, USS, an end-to-end embodied tracking framework that supports text, point, bounding box, and mask prompts within a unified architecture. USS encodes heterogeneous prompts with modality-specific encoders, fuses prompt tokens with visual features through hybrid attention, and decodes compact prompt-conditioned representations into egocentric waypoints. To further improve temporal robustness, USS incorporates a latent world model that predicts future representations through self-supervised alignment. Real-robot experiments demonstrate that explicit spatial target cues yield higher success rates than text-only prompts, particularly in scenarios involving similar distractors and longer-horizon tracking where maintaining instance-level target identity is critical. In the simulation benchmark, USS also achieves state-of-the-art performance among non-MLLM-based methods and competitive results against recent MLLM-based approaches with faster inference speed. Our findings reveal that spatial-semantic prompting provides a more precise and flexible target indication interface for embodied visual tracking. Project site: https://arescheah.github.io/uss-project-page/.