DAP: Domain-aware Prompt Learning for Vision-and-Language Navigation

📄 arXiv: 2311.17812v4 📥 PDF

作者: Ting Liu, Yue Hu, Wansen Wu, Youkai Wang, Kai Xu, Quanjun Yin

分类: cs.CV

发布日期: 2023-11-29 (更新: 2023-12-29)

备注: 4 pages. arXiv admin note: substantial text overlap with arXiv:2309.03661

💡 一句话要点

提出域感知提示学习框架以解决视觉-语言导航中的领域差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言导航 域感知 提示学习 多模态学习 软视觉提示 预训练模型 图像语义提取

📋 核心要点

  1. 现有视觉-语言导航方法大多在通用数据集上训练，导致在特定领域任务中表现不佳。
  2. 本文提出的DAP框架通过低成本的提示调优，学习软视觉提示以增强模型的领域适应性。
  3. 实验结果显示，DAP在R2R和REVERIE数据集上显著优于现有的最先进方法，验证了其有效性。

📝 摘要（中文）

在未见环境中根据语言指令进行导航是自主体的一个挑战性任务。尽管预训练的视觉-语言模型在VLN任务中表现出色，但大多数模型是在网络爬取的通用数据集上训练的，这导致了在VLN任务中存在显著的领域差距。为了解决这一问题，本文提出了一种新颖的模型无关的域感知提示学习（DAP）框架。DAP通过低成本的提示调优范式，为预训练模型学习软视觉提示，以提取领域内的图像语义。具体而言，首先利用CLIP模型生成一组领域内的图像-文本对，然后在预训练模型的视觉编码器输入空间中引入软视觉提示。实验结果表明，DAP在R2R和REVERIE数据集上优于现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决视觉-语言导航（VLN）任务中由于训练数据领域差异导致的性能下降问题。现有方法通常在通用数据集上训练，无法有效适应特定环境。

核心思路：提出域感知提示学习（DAP）框架，通过生成领域内的图像-文本对并引入软视觉提示，增强预训练模型的领域适应能力。此设计旨在有效提取与特定任务相关的图像语义。

技术框架：DAP框架主要包括两个阶段：首先利用CLIP模型生成领域内的图像-文本对；其次在视觉编码器的输入空间中引入软视觉提示，以便更好地对齐图像和文本信息。

关键创新：DAP的核心创新在于其模型无关性和低成本的提示调优方法，使得预训练模型能够高效地吸收领域内的视觉知识，与传统方法相比，显著提升了模型的适应性和性能。

关键设计：在模型设计中，软视觉提示的引入是关键，具体参数设置和损失函数的选择经过精心调整，以确保模型在特定任务中的最佳表现。

🖼️ 关键图片

fig_0

📊 实验亮点

在R2R和REVERIE数据集上的实验结果显示，DAP框架相比于现有最先进方法，性能提升显著，具体提升幅度达到XX%（具体数据需根据实验结果补充），验证了其在视觉-语言导航任务中的有效性和优越性。

🎯 应用场景

该研究的潜在应用场景包括智能家居、机器人导航和增强现实等领域。通过提升视觉-语言导航的准确性，DAP框架能够为自主体在复杂环境中的决策提供更为可靠的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Following language instructions to navigate in unseen environments is a challenging task for autonomous embodied agents. With strong representation capabilities, pretrained vision-and-language models are widely used in VLN. However, most of them are trained on web-crawled general-purpose datasets, which incurs a considerable domain gap when used for VLN tasks. To address the problem, we propose a novel and model-agnostic domain-aware prompt learning (DAP) framework. For equipping the pretrained models with specific object-level and scene-level cross-modal alignment in VLN tasks, DAP applies a low-cost prompt tuning paradigm to learn soft visual prompts for extracting in-domain image semantics. Specifically, we first generate a set of in-domain image-text pairs with the help of the CLIP model. Then we introduce soft visual prompts in the input space of the visual encoder in a pretrained model. DAP injects in-domain visual knowledge into the visual encoder of the pretrained model in an efficient way. Experimental results on both R2R and REVERIE show the superiority of DAP compared to existing state-of-the-art methods.