SCVIB: Editable State-Conditioned Visual Instance Binding forMulti-Turn Personalized Localization

📄 arXiv: 2608.14148v1 📥 PDF

作者: Xiongtai Yang, Ziyan He, Tao Wang

分类: cs.CV

发布日期: 2026-08-14

💡 一句话要点

提出SCVIB以解决多轮个性化定位中的视觉实例绑定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉实例绑定 多轮定位 个性化定位 目标状态过渡树 视觉证据适应 机器人导航 增强现实

📋 核心要点

  1. 现有方法在多轮个性化定位中未能有效利用视觉证据，导致定位准确性不足。
  2. 论文提出TT-VG，通过结合目标状态过渡树和视觉证据定位适应，解决了视觉实例绑定的问题。
  3. 实验结果表明，TT-VG在Joint@0.5上达到70.27%，相比于直接推理有显著提升，尤其在复杂场景下表现更佳。

📝 摘要（中文）

本文介绍了可编辑的状态条件视觉实例绑定（SCVIB），这是一个多轮定位设置，其中多个支持定义的实例在不同轮次中引入，协议定义的状态事件决定最终目标。SCVIB包含1050对手动验证的支持-查询基础对和1500个跨越五个视觉领域、三个难度级别和四个目标状态依赖组的实验。直接的无序列推理仅达到60.13%的Joint@0.5，表明解决最终引用并未有效利用相应的视觉证据进行查询侧定位。为此，本文提出了TT-VG（过渡树视觉定位），结合了目标状态过渡树（TSTT）和视觉证据定位适应（VEGA），显著提高了性能。

🔬 方法详解

问题定义：本文旨在解决多轮个性化定位中的视觉实例绑定问题，现有方法在处理最终引用时未能有效利用视觉证据，导致定位准确性不足。

核心思路：论文提出的TT-VG方法通过结合目标状态过渡树（TSTT）和视觉证据定位适应（VEGA），实现了对支持实例的有效绑定和定位，确保在多轮交互中能够准确引用视觉证据。

技术框架：TT-VG的整体架构包括两个主要模块：TSTT负责编译可见交互并执行协议定义的事件，VEGA则在轨迹派生的同实例对上进行支持条件的定位。

关键创新：最重要的技术创新在于将目标状态过渡树与视觉证据定位适应相结合，形成了一种新的视觉实例绑定机制，显著提高了多轮定位的准确性。

关键设计：在设计中，TSTT通过版本化目标状态来处理事件，VEGA使用视觉证据包进行支持条件的定位，确保了在复杂场景下的高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TT-VG在Joint@0.5上达到了70.27%的准确率，相比于直接推理提升了10.14个百分点。在匹配目标解析的情况下，VEGA的表现超越了最强对比方法16.20个百分点，尤其在复杂场景Counter-Recency和Rollback中表现突出。

🎯 应用场景

该研究的潜在应用领域包括智能助手、增强现实和机器人导航等，能够在多轮交互中提供更精准的定位服务，提升用户体验。未来，该方法可能推动个性化定位技术的发展，促进人机交互的智能化进程。

📄 摘要（原文）

We introduce editable state-conditioned visual instance binding, a multi-turn localization setting in which several support-defined instances are introduced across turns and protocol-defined state events determine the final target. We instantiate this setting as SCVIB, comprising 1,050 manually verified support--query base pairs and 1,500 episodes spanning five visual domains, three difficulty levels, and four target-state dependency groups. Direct Seq-free inference reaches only 60.13\% Joint@0.5, indicating that resolving the final reference does not ensure effective use of the corresponding visual evidence for query-side localization. We address this gap with TT-VG (Transition-Tree Visual Grounding), which combines a Target-State Transition Tree (TSTT) with Visual Evidence Grounding Adaptation (VEGA). TSTT compiles the visible interaction into protocol-defined events, executes them over versioned target states, and resolves the final-query reference to the corresponding support evidence. Adapted on trajectory-derived same-instance pairs, VEGA performs support-conditioned grounding of the resolved instance using a Visual Evidence Package. TT-VG reaches 70.27\% Joint@0.5; under matched target resolution, VEGA exceeds the strongest comparison method by 16.20 points. Gains over direct inference are largest on Counter-Recency and Rollback, which require routing to non-latest or restored support evidence. Together, these results establish SCVIB as a controlled testbed and highlight the effective use of resolved support evidence for query-side same-instance localization as a central challenge in multi-turn personalized localization.