Task-conditioned adaptation of visual features in multi-task policy learning

📄 arXiv: 2402.07739v4 📥 PDF

作者: Pierre Marza, Laetitia Matignon, Olivier Simonin, Christian Wolf

分类: cs.CV, cs.LG, cs.RO

发布日期: 2024-02-12 (更新: 2024-05-06)

💡 一句话要点

提出任务条件适配器以解决多任务策略学习中的视觉特征适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 视觉特征适应 任务条件适配器 行为克隆 自主智能体

📋 核心要点

  1. 现有方法在多任务学习中往往需要微调预训练模型，导致计算成本高且效率低。
  2. 论文提出了一种新的任务条件适配器，能够在不微调预训练权重的情况下，灵活适应不同任务的视觉特征。
  3. 实验结果显示，该方法在CortexBench基准上表现优异，能够通过单一策略处理多种任务，并在少量示例下推广到新任务。

📝 摘要（中文）

成功应对多种任务是自主智能体的核心能力，这需要灵活地调整决策策略和感知模块。本文提出了一种任务条件适配器，能够在多任务策略学习中适应预训练的大型视觉模型，而无需微调任何预训练权重。通过将视觉适配器与任务嵌入相结合，方法能够在已知任务时选择适当的适配器，或通过示例推断任务。我们在CortexBench基准上评估了该方法，结果表明，适应视觉特征是关键设计选择，并且该方法在给定少量示例的情况下能够推广到未见任务。

🔬 方法详解

问题定义：本文旨在解决多任务策略学习中视觉特征适应的问题。现有方法通常需要对预训练模型进行微调，导致计算资源浪费和效率低下。

核心思路：提出的任务条件适配器通过结合任务嵌入，允许在不微调预训练权重的情况下，灵活适应不同的视觉任务。这种设计模仿了人类视觉系统的注意力机制。

技术框架：整体架构包括任务条件适配器和单一策略训练模块。适配器根据任务嵌入进行调整，策略则通过行为克隆进行训练，能够处理多个任务。

关键创新：最重要的技术创新在于引入任务条件适配器，允许在不改变预训练模型权重的情况下，动态调整视觉特征。这与传统方法的微调策略形成鲜明对比。

关键设计：关键设计包括任务嵌入的选择机制，适配器的结构设计，以及优化算法的实现。这些设计确保了在多任务环境下的高效性和灵活性。

📊 实验亮点

实验结果表明，提出的方法在CortexBench基准上优于现有技术，能够通过单一策略处理多种任务，且在少量示例下对未见任务的推广能力显著提升，展示了较高的灵活性和适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、智能监控等多个需要处理多种任务的场景。通过提高视觉特征的适应性，能够显著提升自主智能体在复杂环境中的决策能力和执行效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Successfully addressing a wide variety of tasks is a core ability of autonomous agents, requiring flexibly adapting the underlying decision-making strategies and, as we argue in this work, also adapting the perception modules. An analogical argument would be the human visual system, which uses top-down signals to focus attention determined by the current task. Similarly, we adapt pre-trained large vision models conditioned on specific downstream tasks in the context of multi-task policy learning. We introduce task-conditioned adapters that do not require finetuning any pre-trained weights, combined with a single policy trained with behavior cloning and capable of addressing multiple tasks. We condition the visual adapters on task embeddings, which can be selected at inference if the task is known, or alternatively inferred from a set of example demonstrations. To this end, we propose a new optimization-based estimator. We evaluate the method on a wide variety of tasks from the CortexBench benchmark and show that, compared to existing work, it can be addressed with a single policy. In particular, we demonstrate that adapting visual features is a key design choice and that the method generalizes to unseen tasks given a few demonstrations.