DOZE: A Dataset for Open-Vocabulary Zero-Shot Object Navigation in Dynamic Environments

📄 arXiv: 2402.19007v2 📥 PDF

作者: Ji Ma, Hongming Dai, Yao Mu, Pengying Wu, Hao Wang, Xiaowei Chi, Yang Fei, Shanghang Zhang, Chang Liu

分类: cs.CV, cs.RO

发布日期: 2024-02-29 (更新: 2024-07-08)

备注: This version of the paper has been accepted for publication in IEEE Robotics and Automation Letters (RA-L)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DOZE数据集以解决动态环境下的零样本物体导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本物体导航 动态环境 数据集 碰撞检测 具身人工智能 3D场景 智能体评估

📋 核心要点

  1. 现有的ZSON算法数据集未考虑动态障碍物和物体属性多样性，导致与真实场景存在显著差距。
  2. DOZE数据集通过提供动态环境下的高保真3D场景和丰富的任务，旨在解决现有数据集的不足之处。
  3. 在对四种代表性ZSON方法的测试中，发现现有方法在导航效率、安全性和物体识别准确性方面仍有显著提升空间。

📝 摘要（中文）

零样本物体导航（ZSON）要求智能体在不熟悉的环境中自主定位和接近未见过的物体，这在具身人工智能领域中是一项特别具有挑战性的任务。现有的数据集在开发ZSON算法时未考虑动态障碍物、物体属性多样性和场景文本，因而与真实世界存在明显差异。为了解决这些问题，我们提出了一个开放词汇的动态环境下零样本物体导航数据集（DOZE），该数据集包含十个高保真3D场景和超过18,000个任务，旨在模拟复杂的动态真实场景。DOZE场景中有多个移动的人形障碍物、丰富的开放词汇物体、多样的独特属性物体和有价值的文本提示。此外，与现有数据集仅提供静态障碍物的碰撞检测不同，我们增强了DOZE，集成了检测智能体与移动障碍物之间碰撞的能力。这一新功能使得在动态环境中评估智能体的避碰能力成为可能。

🔬 方法详解

问题定义：本论文旨在解决现有零样本物体导航算法在动态环境中缺乏有效数据集的问题，尤其是未考虑动态障碍物和物体属性多样性。

核心思路：我们提出DOZE数据集，通过模拟复杂的动态场景，提供丰富的任务和多样的物体属性，以增强智能体在真实环境中的导航能力。

技术框架：DOZE数据集包含十个高保真3D场景，设计了超过18,000个任务，场景中有移动的人形障碍物和开放词汇物体，支持智能体进行碰撞检测和避碰能力评估。

关键创新：DOZE的最大创新在于集成了动态障碍物的碰撞检测能力，使得智能体在动态环境中的表现评估更加真实和全面。

关键设计：数据集中包含多种物体属性和文本提示，设计了多样的任务场景，确保智能体在不同情况下的导航能力得到全面测试。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对四种代表性ZSON方法的测试中，DOZE数据集显示出现有方法在导航效率、安全性和物体识别准确性方面的显著提升空间，具体性能数据尚未公开，待进一步研究验证。

🎯 应用场景

DOZE数据集的潜在应用领域包括智能机器人、自动驾驶车辆和增强现实等。通过提供动态环境下的真实场景，研究人员可以更好地训练和评估智能体的导航能力，从而推动具身人工智能的发展，提升其在复杂环境中的应用价值。

📄 摘要（原文）

Zero-Shot Object Navigation (ZSON) requires agents to autonomously locate and approach unseen objects in unfamiliar environments and has emerged as a particularly challenging task within the domain of Embodied AI. Existing datasets for developing ZSON algorithms lack consideration of dynamic obstacles, object attribute diversity, and scene texts, thus exhibiting noticeable discrepancies from real-world situations. To address these issues, we propose a Dataset for Open-Vocabulary Zero-Shot Object Navigation in Dynamic Environments (DOZE) that comprises ten high-fidelity 3D scenes with over 18k tasks, aiming to mimic complex, dynamic real-world scenarios. Specifically, DOZE scenes feature multiple moving humanoid obstacles, a wide array of open-vocabulary objects, diverse distinct-attribute objects, and valuable textual hints. Besides, different from existing datasets that only provide collision checking between the agent and static obstacles, we enhance DOZE by integrating capabilities for detecting collisions between the agent and moving obstacles. This novel functionality enables the evaluation of the agents' collision avoidance abilities in dynamic environments. We test four representative ZSON methods on DOZE, revealing substantial room for improvement in existing approaches concerning navigation efficiency, safety, and object recognition accuracy. Our dataset can be found at https://DOZE-Dataset.github.io/.