Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer

📄 arXiv: 2606.12890 📥 PDF

作者: Aryan Naveen, Haitong Ma, Haldun Balim, Na Li

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出RepMT-SAC框架以解决多任务强化学习中的知识共享问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务强化学习 知识迁移 谱MDP分解 价值函数结构 四旋翼控制

📋 核心要点

  1. 现有强化学习方法在样本效率和任务泛化能力上存在明显不足，限制了其在多任务场景中的应用。
  2. 本文提出RepMT-SAC框架，通过谱MDP分解实现可迁移动态的捕捉，优化了价值函数的结构设计。
  3. 实验结果表明，RepMT-SAC在同分布和异分布任务中均优于基线方法，性能提升可达30%。

📝 摘要（中文）

强化学习在复杂控制策略学习中取得了显著成功，但由于样本效率低和跨任务泛化能力差，其适用性仍然有限。本文提出了RepMT-SAC框架，旨在实现高效的知识共享和对新任务的稳健迁移。RepMT-SAC通过谱MDP分解捕捉可迁移的动态，将价值函数结构化为任务无关的核心，并进行最小的任务特定调整。这一设计使得在同分布任务上具有强大的零-shot性能，并能快速适应异分布任务。我们在四旋翼轨迹跟踪任务中评估了RepMT-SAC，结果显示其性能比基线提高了多达30%。

🔬 方法详解

问题定义：本文旨在解决多任务强化学习中的知识共享和迁移效率问题。现有方法在处理新任务时常常面临样本效率低和泛化能力差的挑战。

核心思路：RepMT-SAC框架通过谱MDP分解来捕捉可迁移的动态特性，构建一个任务无关的核心价值函数，并进行最小的任务特定调整，从而实现高效的知识迁移。

技术框架：该框架主要包括谱MDP分解模块、任务无关核心价值函数和任务特定调整模块。通过这些模块，RepMT-SAC能够在不同任务间有效共享知识。

关键创新：RepMT-SAC的核心创新在于其谱MDP分解方法，使得动态捕捉更加高效，且通过结构化的价值函数设计显著提升了零-shot和few-shot学习能力。

关键设计：在设计中，RepMT-SAC采用了特定的损失函数来优化任务无关核心和任务特定调整的平衡，同时在网络结构上进行了优化，以提高学习效率和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RepMT-SAC在四旋翼轨迹跟踪任务中表现优异，相较于基线方法，其性能提升可达30%。这一显著的提升证明了该框架在多任务强化学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括无人机控制、机器人操作以及其他需要高效知识迁移的多任务学习场景。RepMT-SAC框架的设计能够显著提升在新任务上的学习效率，具有广泛的实际价值和未来影响力，尤其是在动态环境中。

📄 摘要（原文）

Reinforcement learning has achieved remarkable success in learning complex control policies, yet its applicability remains limited due to sample inefficiency and poor generalization across tasks. In this work, we propose RepMT-SAC, a framework for multi-task RL that enables efficient knowledge sharing and robust transfer to new tasks. RepMT-SAC uses spectral MDP decomposition to capture transferable dynamics, structuring the value function into a task-agnostic core with a minimal task-specific adjustment. This design allows for strong zero-shot performance on in-distribution tasks and rapid few-shot adaptation to out-of-distribution tasks. We evaluate RepMT-SAC on quadcopter trajectory-following tasks across in-distribution and out-of-distribution contexts, demonstrating that it outperforms baselines by up to 30%.