VLN-Video: Utilizing Driving Videos for Outdoor Vision-and-Language Navigation

📄 arXiv: 2402.03561v2 📥 PDF

作者: Jialu Li, Aishwarya Padmakumar, Gaurav Sukhatme, Mohit Bansal

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-02-05 (更新: 2024-02-07)

备注: AAAI 2024

💡 一句话要点

提出VLN-Video以解决户外视觉语言导航中的环境多样性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 深度学习 多模态学习 驾驶视频 环境多样性 模型预训练 智能导航 自然语言处理

📋 核心要点

  1. 现有的VLN方法在多样化导航环境和训练数据方面存在不足，限制了其性能。
  2. 本文提出VLN-Video，通过利用驾驶视频中的多样化环境和自动生成的导航指令，提升户外VLN的表现。
  3. 实验结果显示，VLN-Video在任务完成率上比最先进模型提升了2.1%，在Touchdown数据集上取得了新记录。

📝 摘要（中文）

户外视觉语言导航（VLN）要求智能体根据自然语言指令在真实的3D户外环境中导航。现有VLN方法受限于导航环境的多样性不足和训练数据的有限性。为了解决这些问题，本文提出了VLN-Video，利用美国多个城市的驾驶视频中的多样化户外环境，并自动生成导航指令和动作，以提升户外VLN性能。VLN-Video结合了经典方法和现代深度学习技术，通过模板填充生成有依据的导航指令，并结合基于图像旋转相似性的导航动作预测器，从驾驶视频中获取VLN风格数据以预训练深度学习模型。实验证明，VLN-Video在任务完成率上比之前的最先进模型提升了2.1%，在Touchdown数据集上达到了新的最先进水平。

🔬 方法详解

问题定义：本文旨在解决户外视觉语言导航（VLN）中环境多样性不足和训练数据有限的问题。现有方法在不同环境下的适应性差，导致导航性能受限。

核心思路：VLN-Video通过利用驾驶视频中的多样化户外环境，结合自动生成的导航指令和动作，来增强训练数据的多样性，从而提升VLN模型的性能。

技术框架：整体架构包括三个主要模块：1) 模板填充生成有依据的导航指令；2) 基于图像旋转相似性的导航动作预测器；3) 通过三个代理任务（掩码语言建模、指令与轨迹匹配、下一个动作预测）进行模型预训练。

关键创新：最重要的创新在于将驾驶视频中的多样化环境与深度学习技术相结合，通过生成有依据的导航指令和动作预测，显著提升了模型的训练效果。与现有方法相比，VLN-Video在数据来源和生成方式上具有本质区别。

关键设计：在模型训练中，使用了掩码语言建模和指令匹配等损失函数，网络结构设计上采用了深度学习框架以适应多模态数据处理，确保了指令表示的时序感知和视觉对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VLN-Video在Touchdown数据集上的任务完成率比之前的最先进模型提升了2.1%，达到了新的最先进水平。这一成果表明，利用多样化的驾驶视频数据显著增强了模型的学习能力和导航性能。

🎯 应用场景

该研究的潜在应用领域包括智能导航系统、自动驾驶汽车、虚拟现实和增强现实等。通过提升户外环境下的导航能力，VLN-Video可以为用户提供更为精准和自然的导航体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Outdoor Vision-and-Language Navigation (VLN) requires an agent to navigate through realistic 3D outdoor environments based on natural language instructions. The performance of existing VLN methods is limited by insufficient diversity in navigation environments and limited training data. To address these issues, we propose VLN-Video, which utilizes the diverse outdoor environments present in driving videos in multiple cities in the U.S. augmented with automatically generated navigation instructions and actions to improve outdoor VLN performance. VLN-Video combines the best of intuitive classical approaches and modern deep learning techniques, using template infilling to generate grounded navigation instructions, combined with an image rotation similarity-based navigation action predictor to obtain VLN style data from driving videos for pretraining deep learning VLN models. We pre-train the model on the Touchdown dataset and our video-augmented dataset created from driving videos with three proxy tasks: Masked Language Modeling, Instruction and Trajectory Matching, and Next Action Prediction, so as to learn temporally-aware and visually-aligned instruction representations. The learned instruction representation is adapted to the state-of-the-art navigator when fine-tuning on the Touchdown dataset. Empirical results demonstrate that VLN-Video significantly outperforms previous state-of-the-art models by 2.1% in task completion rate, achieving a new state-of-the-art on the Touchdown dataset.