DaViNCi: A Dataset Towards Outdoor Vision-and-Language Navigation with Continuous Actions and Dynamic Elements

📄 arXiv: 2608.11901v1 📥 PDF

作者: Zihao Xie, Pingrui Lai, Yitong Wu, Hua Yang

分类: cs.RO

发布日期: 2026-08-12

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DaViNCi数据集以解决户外视觉语言导航中的动态与连续性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉与语言导航 动态元素 连续动作 数据集构建 户外环境

📋 核心要点

  1. 现有的户外视觉与语言导航数据集依赖于固定的离散拓扑图，无法适应动态变化的环境。
  2. 本文提出DaViNCi数据集，首次引入连续动作和动态元素，增强了户外VLN的现实性。
  3. 实验结果显示，在DaViNCi数据集上，成功率在离散环境中下降超过10%，在连续环境中下降更显著，验证了其挑战性。

📝 摘要（中文）

视觉与语言导航（VLN）逐步从室内扩展到户外环境。然而，现有的户外VLN数据集仍依赖于固定的离散拓扑图构建，无法适应快速变化的现实户外环境，阻碍了VLN代理的仿真到现实转移。为了解决这一局限性，本文提出了DaViNCi（动态视觉与语言导航在连续环境中），这是第一个同时引入连续和动态因素的户外VLN数据集。该数据集包含六个不同的地图，总计6933条轨迹。通过全面的比较实验，发现DaViNCi在离散环境中的成功率比之前的数据集下降了超过10%，在连续设置中下降幅度更大，展示了DaViNCi的挑战性。此外，本文还阐明了动作粒度和动态元素的影响。这些结果展示了DaViNCi在推动户外VLN向更现实环境发展的实际价值。

🔬 方法详解

问题定义：本文旨在解决现有户外视觉与语言导航（VLN）数据集在动态和连续环境下的局限性。现有方法依赖于固定的离散拓扑图，无法有效应对现实世界中的快速变化和动态元素。

核心思路：论文提出DaViNCi数据集，设计上引入了连续动作和动态元素，使得导航代理能够在更真实的环境中进行训练和测试。这种设计旨在提高VLN系统在复杂环境中的适应能力和鲁棒性。

技术框架：DaViNCi数据集包含六个不同的地图，提供6933条轨迹。数据集的构建考虑了动态元素的影响，并通过连续动作的方式进行导航。整体流程包括环境建模、轨迹生成和动态元素的集成。

关键创新：DaViNCi的最大创新在于同时引入了连续性和动态性，使得数据集更贴近真实世界的复杂性。这一创新与现有依赖离散动作的VLN方法形成了鲜明对比。

关键设计：在数据集构建中，采用了多种动态元素的模拟，设置了不同的动作粒度，以便评估其对导航成功率的影响。损失函数和网络结构的设计也针对连续动作进行了优化，以提高模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DaViNCi数据集的成功率在离散环境中下降超过10%，而在连续环境中下降幅度更大，显示出其挑战性。这些结果强调了动态元素和动作粒度对导航成功的重要影响，为未来的研究提供了重要的参考。

🎯 应用场景

DaViNCi数据集的提出为户外视觉与语言导航的研究提供了新的数据基础，具有广泛的应用潜力。该数据集可用于训练和评估导航代理在复杂环境中的表现，推动智能机器人、自动驾驶和增强现实等领域的发展。未来，随着数据集的进一步完善，可能会促进更智能的导航系统的出现。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) has progressively expanded from indoor to outdoor environments. However, existing outdoor VLN datasets still rely on fixed discrete topological graphs for construction. It fails to align with the rapidly changing real-world outdoor environments and impedes the sim-to-real transfer of VLN agents. To address this limitation, we propose DaViNCi (\textbf{D}yn\textbf{a}mic \textbf{Vi}sion-and-Language \textbf{N}avigation in \textbf{C}ont\textbf{i}nuous Environment), the first outdoor VLN dataset that simultaneously introduces both continuous and dynamic factors. The agent not only moves in the outdoor environment using continuous actions but is also required to handle unpredictable dynamic elements. The dataset encompasses six distinct maps with a total of 6,933 trajectories. Through comprehensive comparative experiments, we find that the success rate on DaViNCi decreased by more than 10\% in discrete environments compared to previous datasets. And there is an even greater decline in continuous settings, demonstrating the challenge of DaViNCi. Furthermore, we clarify the impact of action granularity and dynamic elements. These results demonstrate the practical value of DaViNCi in advancing outdoor VLN toward more realistic environments. The website is https://xzh0312.github.io/DaViNCi/.