Knowledge Reutilization in Meta-Reinforcement Learning

📄 arXiv: 2606.18132v1 📥 PDF

作者: Yuan Meng, Bo Wang, Juan de los Rios Ruiz, Xiangtong Yao, Zhenshan Bing, Fuchun Sun, Alois Knoll

分类: cs.AI

发布日期: 2026-06-16

备注: 18 pages initial submission

💡 一句话要点

提出元知识再利用框架以解决快速适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 知识重用 贝叶斯方法 动态简化代理 运动控制 样本效率 异构代理

📋 核心要点

  1. 现有的元强化学习方法在任务推断与控制之间的耦合导致样本效率低下和知识重用受限。
  2. 本文提出的框架通过贝叶斯非参数先验和高层策略实现任务知识的学习与转移，解决了耦合问题。
  3. 实验结果显示，该框架在多个运动代理上将最终跟踪误差降低了94.75%至99.79%，并且数据使用效率显著提升。

📝 摘要（中文）

元强化学习通过提取相关任务的共享结构实现快速适应，但现有的端到端方法往往将任务推断与特定于实体的控制耦合在一起。这种耦合可能会模糊非参数任务语义，降低样本效率，并限制跨代理的重用。本文提出了一种元知识再利用框架，该框架在动态简化的代理上学习任务级知识，并将其转移到异构代理。该框架使用贝叶斯非参数先验来组织潜在任务模式，并通过高层策略生成任务级幅度指导。为了将可重用的任务知识与不同的实体连接起来，我们引入了语义-幅度接口和轻量级时间适配器，将冻结的元知识转换为时间对齐的子目标，以供特定于实体的低级控制器使用。实验表明，该框架在多个运动代理上显著降低了最终跟踪误差，并在数据使用效率上表现优异。

🔬 方法详解

问题定义：本文旨在解决现有元强化学习方法中任务推断与控制耦合的问题，这种耦合导致非参数任务语义模糊、样本效率低下以及跨代理知识重用的限制。

核心思路：提出的元知识再利用框架通过在动态简化的代理上学习任务级知识，并将其转移到异构代理，从而实现快速适应。框架利用贝叶斯非参数先验组织潜在任务模式，并通过高层策略生成任务级幅度指导。

技术框架：整体架构包括任务知识学习模块、语义-幅度接口和轻量级时间适配器。任务知识学习模块负责在简化代理上提取知识，语义-幅度接口用于连接不同实体的知识，时间适配器则将元知识转换为时间对齐的子目标。

关键创新：最重要的创新在于引入了贝叶斯非参数先验和语义-幅度接口，使得任务知识能够在不同的代理之间有效重用，显著提高了样本效率和适应性。

关键设计：框架中的贝叶斯非参数先验用于组织潜在任务模式，损失函数设计上强调任务知识的准确性和可重用性，网络结构则采用轻量级设计以适应不同的低级控制器。

📊 实验亮点

实验结果表明，提出的框架在多个运动代理上将最终跟踪误差降低了94.75%至99.79%，并且在数据使用效率上仅需约23.8%的交互数据即可达到与最新基线相当的部署性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等场景，能够有效提升系统的适应能力和知识重用效率。未来，该框架有望在多种异构系统中实现更高效的任务执行与协作。

📄 摘要（原文）

Meta-reinforcement learning enables fast adaptation by extracting shared structure from related tasks, but existing end-to-end methods often couple task inference with embodiment-specific control. This coupling can obscure non-parametric task semantics, reduce sample efficiency, and limit cross-agent reuse. We propose a meta-knowledge reutilization framework that learns task-level knowledge on a dynamics-simplified agent and transfers it to heterogeneous agents. The framework uses a Bayesian non-parametric prior to organize latent task modes and a high-level policy to generate task-level magnitude guidance. To bridge reusable task knowledge with different embodiments, we introduce a semantic-magnitude interface and a lightweight temporal adaptor, which convert frozen meta-knowledge into temporally aligned subgoals for embodiment-specific low-level controllers. Experiments on multiple locomotion agents show that our framework reduces final-step tracking error by 94.75% -- 99.79% compared with recent state-of-the-art baselines and achieves comparable deployment performance with about 23.8% of their interaction data.