Exploiting Textual Semantics for Robust Cross-View Object Correspondence

📄 arXiv: 2611.02356v1 📥 PDF

作者: Bing Fan, Yunhe Feng, Yan Huang, Heng Fan

分类: cs.CV, cs.AI

发布日期: 2026-11-02

备注: Accepted to NeurIPS 2026. 12 figures, 12 tables. Code: https://github.com/VAIL-Fan/TeSCo

🔗 代码/项目: GITHUB

💡 一句话要点

提出TeSCo框架以解决复杂场景下的跨视角物体对应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨视角物体对应 文本语义 多模态融合 视觉-语言模型 鲁棒性提升

📋 核心要点

  1. 现有跨视角物体对应方法主要依赖视觉线索，难以应对复杂场景中的视角和外观变化。
  2. TeSCo框架通过结合物体的文本语义与视觉特征，增强了物体对应的鲁棒性，提供了更全面的目标信息。
  3. 在Ego-Exo4D和HANDAL-X数据集上，TeSCo实现了最先进的性能，显著优于其他对比模型。

📝 摘要（中文）

跨视角物体对应（CVOC）旨在建立来自不同视角的查询视频和搜索视频中相同目标的关联。现有方法主要依赖视觉线索，然而在视角变化和外观变化显著的复杂场景中，这些方法面临挑战。为此，我们提出了TeSCo框架，利用物体的丰富文本语义，增强跨视角物体对应的鲁棒性。我们的关键见解是，目标的文本描述能够捕捉类别、纹理和颜色等多样属性，提供视角和外观不变的语义，补充视觉线索。TeSCo首先通过视觉-语言模型生成目标的文本表达，然后提取文本特征以增强搜索视图中的视觉特征。我们引入了文本条件跨模态融合（TCF）模块，将文本特征与视觉特征结合，生成更鲁棒的多模态目标表示。通过迭代文本特征精炼（ITFR）模块，逐步调整文本特征，使其与搜索视图信息相适应，从而提升性能。在Ego-Exo4D和HANDAL-X的广泛实验中，TeSCo展示了最先进的结果，显著超越其他模型，验证了其有效性。

🔬 方法详解

问题定义：跨视角物体对应（CVOC）旨在在不同视角的视频中识别相同的目标。现有方法往往依赖视觉信息，导致在复杂场景中表现不佳，尤其是在视角和外观变化显著时。

核心思路：TeSCo框架的核心思想是利用物体的文本描述，捕捉类别、纹理和颜色等属性，提供视角和外观不变的语义信息，以增强物体对应的鲁棒性。

技术框架：TeSCo的整体架构包括两个主要模块：文本条件跨模态融合（TCF）模块和迭代文本特征精炼（ITFR）模块。首先，通过视觉-语言模型生成目标的文本表达，然后提取文本特征并与视觉特征融合。ITFR模块在TCF之前逐步调整文本特征，使其与搜索视图信息相适应。

关键创新：TeSCo的主要创新在于引入文本条件跨模态融合模块和迭代文本特征精炼模块，这两者结合使得文本特征能够有效地增强视觉特征，显著提升了物体对应的准确性和鲁棒性。

关键设计：在设计中，TCF模块通过文本引导调制将文本特征融入视觉特征，ITFR模块则利用搜索视图信息对文本特征进行迭代调整，确保文本特征与当前视图的兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Ego-Exo4D和HANDAL-X数据集上的实验中，TeSCo框架实现了最先进的性能，显著超越了其他对比模型，验证了其在复杂场景下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、虚拟现实等场景，能够有效提升跨视角物体识别的准确性和鲁棒性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Cross-view object correspondence (CVOC) aims to establish associations of the same target between query and search videos captured from different viewpoints. Existing methods often rely on visual cues for CVOC. Despite recent progress, these methods struggle in complicated scenarios with substantial viewpoint changes and appearance variations, due to lacking sufficient target information. Addressing this, we introduce TeSCo, a framework that exploits rich Textual Semantics of an object, in addition to its visual cues, for cross-view object Correspondence. Our key insight is, textual description of a target, by capturing diverse attributes such as category, texture, and color, provides viewpoint- and appearance-invariant semantics, which are complementary to visual cues and can hence enhance correspondence robustness in complicated scenes. Inspired by this, TeSCo first generates a textual expression of the target from the given query view using a vision-language model, and then extracts textual feature to enhance visual features for localization in the search view. To realize this, we introduce a text-conditioned cross-modal fusion (TCF) module that incorporates the textual feature into visual features with text-guided modulation, producing more robust multimodal target representation for object correspondence. Since not all textual cues are equally compatible with the target in current search-view frame, we propose an iterative textual feature refinement (ITFR) module that progressively adjusts textual feature using search-view information before the TCF module, enabling search-view-aware textual semantics to be fused into visual features and leading to better performance. In extensive experiments on Ego-Exo4D and HANDAL-X, TeSCo demonstrates state-of-the-art results and largely outperforms other models, validating its efficacy. Our code is released at https://github.com/VAIL-Fan/TeSCo.