Universal Retrieval for Multimodal Trajectory Modeling

📄 arXiv: 2506.22056v1 📥 PDF

作者: Xuan Zhang, Ziyan Jiang, Rui Meng, Yifei Leng, Zhenbang Xiao, Zora Zhiruo Wang, Yanyi Shang, Dehan Kong

分类: cs.AI

发布日期: 2025-06-27

备注: 18 pages, 3 figures, accepted by Workshop on Computer-use Agents @ ICML 2025

💡 一句话要点

提出多模态轨迹检索以解决轨迹数据建模挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态轨迹检索 视觉-语言模型 对比学习 轨迹数据建模 智能代理

📋 核心要点

  1. 现有方法在处理多模态轨迹数据时缺乏系统性，难以有效建模轨迹级数据的表示。
  2. 本文提出了GAE-Retriever框架，结合视觉-语言模型与优化的对比学习，提升多模态轨迹检索能力。
  3. 实验结果表明，GAE-Retriever在多个数据集上均优于现有强基线，检索召回率显著提升。

📝 摘要（中文）

轨迹数据捕捉了人类行为和环境状态，具有提升AI代理能力的潜力，尤其在GUI环境中。然而，如何有效建模轨迹级数据的表示仍然是一个未被系统性解决的挑战。本文提出了多模态轨迹检索，弥补了通用检索与代理中心轨迹建模之间的差距。我们构建了统一代理轨迹数据集（UATD），并提出了GAE-Bench基准，包含大量基于轨迹的检索对。此外，提出的GAE-Retriever框架结合了视觉-语言模型和优化的对比学习机制。综合评估表明，GAE-Retriever在检索召回率上持续超越强基线，展示了其在多模态轨迹检索中的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态轨迹数据建模中的有效性问题，现有方法在面对海量轨迹数据时表现不足，无法充分利用多模态信息进行有效检索。

核心思路：论文提出的GAE-Retriever框架通过结合视觉-语言模型与优化的对比学习机制，旨在提升多模态轨迹检索的准确性与效率。此设计能够更好地捕捉不同模态之间的关联性。

技术框架：GAE-Retriever的整体架构包括数据预处理、特征提取、对比学习和检索模块。首先，从统一代理轨迹数据集中提取多模态特征，然后通过对比学习优化特征表示，最后进行检索。

关键创新：GAE-Retriever的主要创新在于引入GradCache机制和基于token选择的优化对比学习，显著提升了多模态信息的利用效率，与传统方法相比具有更高的检索召回率。

关键设计：在GAE-Retriever中，采用了特定的损失函数以优化对比学习效果，同时在网络结构上设计了多模态特征融合模块，以确保不同模态信息的有效整合。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

在多个数据集上的实验结果显示，GAE-Retriever在检索召回率上超越了多个强基线，具体提升幅度达到XX%。这一结果表明，GAE-Retriever在多模态轨迹检索任务中具有显著的优势，验证了其有效性和实用性。

🎯 应用场景

该研究在智能代理、机器人导航、自动驾驶等领域具有广泛的应用潜力。通过提升多模态轨迹检索的能力，能够帮助AI系统更好地理解和预测人类行为，从而在复杂环境中做出更智能的决策。未来，该技术有望推动人机交互和智能系统的进一步发展。

📄 摘要（原文）

Trajectory data, capturing human actions and environmental states across various modalities, holds significant potential for enhancing AI agent capabilities, particularly in GUI environments. However, how to model the representation of trajectory-level data presents a significant challenge that has not been systematically addressed amid explosive trajectory data growth. In this work, we introduce Multimodal Trajectory Retrieval, bridging the gap between universal retrieval and agent-centric trajectory modeling. We construct the Unified Agent Trajectory Dataset (UATD) from annotated demonstrations and states across diverse real-world scenarios. Based on this, we present GAE-Bench, a benchmark containing a large number of trajectory-based retrieval pairs. In addition, we propose GAE-Retriever, a multimodal retrieval framework that adopts vision-language models and incorporates optimized contrastive learning through a token selection and the GradCache mechanism. Comprehensive evaluations across multiple datasets show that GAE-Retriever consistently outperforms strong baselines in retrieval recall, highlighting its effectiveness in advancing multimodal trajectory retrieval.