TartanDrive 2.0: More Modalities and Better Infrastructure to Further Self-Supervised Learning Research in Off-Road Driving Tasks

📄 arXiv: 2402.01913v1 📥 PDF

作者: Matthew Sivaprakasam, Parv Maheshwari, Mateo Guaman Castro, Samuel Triest, Micah Nye, Steve Willits, Andrew Saba, Wenshan Wang, Sebastian Scherer

分类: cs.RO

发布日期: 2024-02-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出TartanDrive 2.0以推动越野驾驶自监督学习研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 越野驾驶 自监督学习 多模态感知 数据集 机器人技术 逆强化学习 表示学习

📋 核心要点

  1. 现有的越野驾驶数据集在多模态传感器融合和数据处理工具方面存在不足，限制了自监督学习的研究进展。
  2. TartanDrive 2.0通过引入新的LiDAR传感器和改进的数据处理工具，提供了更丰富的数据集和基础设施，支持多种自主驾驶任务。
  3. 该数据集的发布促进了数据的协作聚合，降低了研究人员使用大规模数据集的门槛，推动了相关领域的技术进步。

📝 摘要（中文）

我们提出了TartanDrive 2.0，这是一个大规模的越野驾驶数据集，旨在支持自监督学习任务。2021年，我们发布了TartanDrive 1.0，这是最大的越野地形数据集之一。作为对原始数据集的后续工作，我们收集了七小时的数据，速度高达15m/s，并新增了三种LiDAR传感器，结合原有的相机、惯性、GPS和本体传感器。我们还发布了用于数据收集、处理和查询的工具，包括旨在提升数据实用性的元数据系统。定制基础设施允许最终用户重新配置数据，以适应他们自己的平台。这些工具和基础设施与数据集一起，适用于越野自主领域的多种任务，鼓励协作数据聚合，降低了使用大规模数据集的门槛，从而促进了自监督学习、多模态感知、逆强化学习和表示学习等领域的机器人技术进步。数据集可在https://github.com/castacks/tartan drive 2.0获取。

🔬 方法详解

问题定义：本研究旨在解决现有越野驾驶数据集在多模态传感器融合和数据处理工具方面的不足，限制了自监督学习的研究和应用。

核心思路：通过收集包含多种传感器数据的新数据集TartanDrive 2.0，并提供相应的工具和基础设施，提升数据集的实用性和可访问性，以支持越野驾驶领域的研究。

技术框架：整体架构包括数据收集、处理和查询三个主要模块。数据收集阶段使用多种传感器（相机、LiDAR、GPS等）进行数据采集，处理阶段则利用元数据系统进行数据整理和查询。

关键创新：最重要的技术创新在于引入了新的LiDAR传感器，并结合现有的多种传感器，形成了一个更全面的多模态数据集，显著提升了数据的丰富性和应用潜力。

关键设计：在数据收集过程中，设置了多种传感器的同步采集，并设计了高效的数据处理流程，确保数据的高质量和可用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TartanDrive 2.0在数据收集和处理方面的创新使得数据集的规模和多样性大幅提升，支持多种自主驾驶任务。与TartanDrive 1.0相比，新增的LiDAR传感器和改进的基础设施显著提高了数据的实用性，促进了自监督学习的研究。

🎯 应用场景

TartanDrive 2.0的数据集和工具可广泛应用于越野驾驶的自主系统开发，特别是在自监督学习、多模态感知和逆强化学习等领域。其开放性和可配置性将促进学术界和工业界的合作，推动相关技术的进步和应用。

📄 摘要（原文）

We present TartanDrive 2.0, a large-scale off-road driving dataset for self-supervised learning tasks. In 2021 we released TartanDrive 1.0, which is one of the largest datasets for off-road terrain. As a follow-up to our original dataset, we collected seven hours of data at speeds of up to 15m/s with the addition of three new LiDAR sensors alongside the original camera, inertial, GPS, and proprioceptive sensors. We also release the tools we use for collecting, processing, and querying the data, including our metadata system designed to further the utility of our data. Custom infrastructure allows end users to reconfigure the data to cater to their own platforms. These tools and infrastructure alongside the dataset are useful for a variety of tasks in the field of off-road autonomy and, by releasing them, we encourage collaborative data aggregation. These resources lower the barrier to entry to utilizing large-scale datasets, thereby helping facilitate the advancement of robotics in areas such as self-supervised learning, multi-modal perception, inverse reinforcement learning, and representation learning. The dataset is available at https://github.com/castacks/tartan drive 2.0.