Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer

📄 arXiv: 2606.12890v1 📥 PDF

作者: Aryan Naveen, Haitong Ma, Haldun Balim, Na Li

分类: cs.RO

发布日期: 2026-06-11

备注: 8 pages, 4 figures, 1 table

💡 一句话要点

提出RepMT-SAC框架以解决多任务强化学习中的知识共享问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务强化学习 知识共享 谱MDP分解 任务适应性 四旋翼控制

📋 核心要点

  1. 现有强化学习方法在样本效率和跨任务泛化能力上存在显著不足，限制了其应用范围。
  2. 本文提出的RepMT-SAC框架通过谱MDP分解实现知识共享，构建任务无关的核心价值函数，增强了任务适应性。
  3. 在四旋翼轨迹跟踪任务中，RepMT-SAC在同分布和异分布任务上均表现优异，性能提升可达30%。

📝 摘要（中文）

强化学习在复杂控制策略学习中取得了显著成功，但由于样本效率低和跨任务泛化能力差，其适用性仍然有限。本文提出了RepMT-SAC，一个多任务强化学习框架，能够实现高效的知识共享和对新任务的稳健转移。RepMT-SAC利用谱MDP分解来捕捉可转移的动态，将价值函数结构化为任务无关的核心，并进行最小的任务特定调整。这一设计使得在同分布任务上具有强大的零-shot性能，并能快速适应异分布任务。我们在四旋翼轨迹跟踪任务中评估了RepMT-SAC，结果表明其在性能上优于基线方法，提升幅度可达30%。

🔬 方法详解

问题定义：本文旨在解决多任务强化学习中的知识共享和任务适应性不足的问题。现有方法在面对新任务时往往需要大量样本，导致学习效率低下。

核心思路：RepMT-SAC框架通过谱MDP分解技术，提取可转移的动态信息，构建一个任务无关的核心价值函数，并进行最小的任务特定调整，从而实现高效的知识转移和快速适应。

技术框架：RepMT-SAC的整体架构包括三个主要模块：任务无关核心、任务特定调整和知识共享机制。首先，利用谱MDP分解捕捉动态，然后通过调整核心价值函数来适应新任务。

关键创新：RepMT-SAC的核心创新在于其谱MDP分解方法，使得价值函数能够有效地分离任务无关和任务特定的部分，从而显著提高了任务适应性和学习效率。

关键设计：在设计中，采用了特定的损失函数来平衡任务无关核心和任务特定调整的学习，同时网络结构经过优化以支持谱MDP分解的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RepMT-SAC在四旋翼轨迹跟踪任务上表现出色，相较于基线方法，性能提升可达30%。这一结果表明，RepMT-SAC在同分布和异分布任务上均具有强大的适应能力，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机控制、机器人导航和多任务学习系统等。通过提高多任务强化学习的效率和适应性，RepMT-SAC能够在复杂环境中实现更为灵活和高效的决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning has achieved remarkable success in learning complex control policies, yet its applicability remains limited due to sample inefficiency and poor generalization across tasks. In this work, we propose RepMT-SAC, a framework for multi-task RL that enables efficient knowledge sharing and robust transfer to new tasks. RepMT-SAC uses spectral MDP decomposition to capture transferable dynamics, structuring the value function into a task-agnostic core with a minimal task-specific adjustment. This design allows for strong zero-shot performance on in-distribution tasks and rapid few-shot adaptation to out-of-distribution tasks. We evaluate RepMT-SAC on quadcopter trajectory-following tasks across in-distribution and out-of-distribution contexts, demonstrating that it outperforms baselines by up to 30%.