TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

📄 arXiv: 2608.13495v1 📥 PDF

作者: Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

分类: cs.CV, cs.LG

发布日期: 2026-08-13

💡 一句话要点

提出TraVEL以解决驾驶视频检索中的运动理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 驾驶视频检索 多模态嵌入 运动理解 轨迹学习 信息对比损失 自动驾驶 数据分析

📋 核心要点

  1. 现有的多模态嵌入模型在运动中心事件的区分上存在不足，难以有效检索驾驶视频中的特定行为。
  2. 本文提出TraVEL框架，通过自我轨迹相似性作为奖励，优化视频嵌入学习，提升运动理解能力。
  3. 实验结果显示，TraVEL在不同模型规模上均提高了运动中心检索的mAP，尤其在2B模型中提升了9.8点。

📝 摘要（中文）

高效检索大规模驾驶日志中的相关片段对于数据整理、模型开发和安全分析至关重要。现有的结构化检索系统通常依赖专家定义的规则和多阶段感知管道，而多模态嵌入模型则通过单一可搜索向量简化了这一过程。然而，通用模型在区分运动中心事件方面存在困难。本文提出了TraVEL（基于轨迹的驾驶视频嵌入学习），通过使用自我轨迹相似性作为奖励，改进了运动理解的细粒度检索。实验表明，TraVEL在不同模型规模上均显著提升了运动中心检索的效果。

🔬 方法详解

问题定义：本文旨在解决驾驶视频检索中对运动中心事件的理解不足，现有的通用多模态模型在此方面表现不佳，难以区分如左转与右转等细微动作。

核心思路：TraVEL框架通过引入自我轨迹相似性作为奖励信号，结合Group Relative Policy Optimization，增强了对运动的理解能力，从而提升检索效果。

技术框架：整体流程包括对Qwen3-VL-Embedding模型的微调，使用InfoNCE目标进行训练，随后引入TraVEL框架进行运动感知的细粒度优化。检索仍然基于单一向量嵌入，而不依赖于自我姿态或专家规则。

关键创新：TraVEL的主要创新在于将自我轨迹相似性作为训练监督信号，区别于传统方法依赖静态场景上下文，显著提升了运动事件的检索能力。

关键设计：在模型训练中，采用了InfoNCE损失函数以优化视频对的相似性，同时在TraVEL框架中设计了奖励机制，以促进对运动轨迹的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TraVEL在2B模型上相较于SFT提升了9.8点的纵向mAP和4.7点的横向mAP，在8B模型上也分别提升了7.2点和1.5点，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统、交通监控和驾驶行为分析等。通过提升驾驶视频的检索效率，能够更好地支持数据分析、模型训练和安全评估，具有重要的实际价值和未来影响。

📄 摘要（原文）

Efficiently retrieving relevant clips from large-scale driving logs is essential for data curation, model development, and safety analysis. Structured and rule-based retrieval systems can explicitly target driving events, but typically require expert-defined rules, auxiliary data, and multi-stage perception pipelines. Multimodal embedding models offer a simpler and more efficient alternative by representing each video with a single searchable vector. However, general-purpose models often rely on shortcuts from static scene context and struggle to distinguish motion-centric events, such as turning left versus right or accelerating versus decelerating. In this work, we study how to adapt a general-purpose multimodal embedding model to driving-video retrieval. We first fine-tune Qwen3-VL-Embedding on paired clips and reasoning traces from nuReasoning using an InfoNCE objective. While this stage substantially improves overall retrieval, caption supervision alone remains insufficient for fine-grained motion understanding. We therefore introduce TraVEL (Trajectory-Guided Video Embedding Learning), a motion-aware fine-tuning framework that uses ego-trajectory similarity as a reward within Group Relative Policy Optimization. Trajectories serve only as privileged training supervision; retrieval still operates on single-vector video embeddings without ego poses, expert rules, or auxiliary perception outputs. We further construct a driving-video retrieval benchmark from nuReasoning. Experiments show that TraVEL improves motion-centric retrieval across model scales: relative to SFT, it raises longitudinal and lateral mAP by 9.8 and 4.7 points at 2B, with corresponding gains of 7.2 and 1.5 points at 8B. TraVEL thus combines physically grounded supervision with efficient embedding-based search.