Empowering Embodied Visual Tracking with Visual Foundation Models and Offline RL

📄 arXiv: 2404.09857v2 📥 PDF

作者: Fangwei Zhong, Kui Wu, Hai Ci, Churan Wang, Hao Chen

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-04-15 (更新: 2024-07-22)

备注: ECCV 2024

💡 一句话要点

提出结合视觉基础模型与离线强化学习以提升具身视觉跟踪能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身视觉跟踪 视觉基础模型 离线强化学习 语义分割 策略网络 鲁棒性 泛化能力 动态环境

📋 核心要点

  1. 现有的具身视觉跟踪方法在训练效率和泛化能力上存在明显不足，难以应对复杂的动态环境。
  2. 本文提出的框架结合了视觉基础模型和离线强化学习，利用预训练模型提取语义信息，并通过离线学习提升策略网络的性能。
  3. 实验结果表明，所提方法在样本效率、对干扰物体的鲁棒性以及对未见场景和目标的泛化能力上均优于现有最先进的方法。

📝 摘要（中文）

具身视觉跟踪是指在动态三维环境中，利用代理的自我中心视觉跟随目标物体。这是一项重要且具有挑战性的技能。然而，现有方法在训练效率和泛化能力上存在不足。本文提出了一种新颖的框架，结合视觉基础模型（VFM）和离线强化学习（offline RL），以增强具身视觉跟踪能力。我们使用预训练的VFM（如“Tracking Anything”）提取语义分割掩码，并利用离线强化学习（如保守Q学习）训练递归策略网络，从收集的演示中学习，无需在线交互。为进一步提高策略网络的鲁棒性和泛化能力，我们引入了掩码重定向机制和多层次数据收集策略。通过这种方式，我们能够在消费级GPU（如Nvidia RTX 3090）上在一小时内训练出鲁棒的策略。

🔬 方法详解

问题定义：本文旨在解决具身视觉跟踪中的训练效率低和泛化能力差的问题。现有方法在动态环境中难以有效跟踪目标，尤其是在干扰和遮挡情况下表现不佳。

核心思路：本文提出结合视觉基础模型（VFM）和离线强化学习（offline RL）的框架，通过预训练模型提取语义信息，并利用离线学习策略网络，从而提高跟踪的鲁棒性和效率。

技术框架：整体架构包括两个主要模块：首先，使用VFM提取目标的语义分割掩码；其次，利用离线强化学习训练递归策略网络，从收集的演示中学习。为增强鲁棒性，加入掩码重定向机制和多层次数据收集策略。

关键创新：本文的创新点在于将视觉基础模型与离线强化学习相结合，形成了一种新的训练方式，显著提升了策略网络在复杂环境中的表现。与传统方法相比，该框架能够更好地处理动态变化和干扰。

关键设计：在参数设置上，采用了保守Q学习作为离线强化学习的算法，损失函数设计考虑了策略的稳定性和收敛性。网络结构上，使用递归神经网络以捕捉时间序列信息，增强了对动态环境的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在多个高保真环境中表现优异，尤其在样本效率和对干扰物体的鲁棒性方面，超越了现有最先进的方法。具体而言，训练出的代理在面对遮挡和干扰时的成功率显著提高，且在未见场景和目标上的泛化能力也得到了验证。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等场景，能够有效提升这些系统在复杂环境中的目标跟踪能力。随着技术的进步，未来可能在更多实际应用中发挥重要作用，推动具身智能的发展。

📄 摘要（原文）

Embodied visual tracking is to follow a target object in dynamic 3D environments using an agent's egocentric vision. This is a vital and challenging skill for embodied agents. However, existing methods suffer from inefficient training and poor generalization. In this paper, we propose a novel framework that combines visual foundation models(VFM) and offline reinforcement learning(offline RL) to empower embodied visual tracking. We use a pre-trained VFM, such as "Tracking Anything", to extract semantic segmentation masks with text prompts. We then train a recurrent policy network with offline RL, e.g., Conservative Q-Learning, to learn from the collected demonstrations without online interactions. To further improve the robustness and generalization of the policy network, we also introduce a mask re-targeting mechanism and a multi-level data collection strategy. In this way, we can train a robust policy within an hour on a consumer-level GPU, e.g., Nvidia RTX 3090. We evaluate our agent on several high-fidelity environments with challenging situations, such as distraction and occlusion. The results show that our agent outperforms state-of-the-art methods in terms of sample efficiency, robustness to distractors, and generalization to unseen scenarios and targets. We also demonstrate the transferability of the learned agent from virtual environments to a real-world robot.