Memory-Efficient Policy Libraries with Low-Rank Adaptation in Reinforcement Learning

📄 arXiv: 2606.25700v1 📥 PDF

作者: Samuel Valland Lyngset, Tor Viljen Raanaas, Gard Sveipe, Eirik Møller Nilsen, Jim Torresen, Kai Olav Ellefsen, Tobias Lømo

分类: cs.LG, cs.RO

发布日期: 2026-06-24

💡 一句话要点

提出低秩适应的内存高效策略库以解决强化学习中的存储问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 强化学习 策略库 多任务学习 内存优化 机器人技术 近端策略优化

📋 核心要点

  1. 现有的强化学习方法在处理多任务时面临内存和计算资源的挑战，尤其是在机器人应用中。
  2. 本文提出通过低秩适应（LoRA）技术来优化策略库的内存使用，旨在提高多任务学习的效率。
  3. 实验结果显示，LoRA能够显著降低内存需求，同时在任务成功率上与传统微调方法相当。

📝 摘要（中文）

在微调大型语言模型时，参数高效微调（PEFT）方法如低秩适应（LoRA）成功地减少了内存使用和计算量。本文探讨了这一方法在机器人和强化学习（RL）领域的可转移性，特别是在多任务机器人中创建专业策略库的场景。我们使用了近端策略优化（PPO）算法，并通过LoRA对基线模型进行微调。结果表明，LoRA在内存使用上可减少20-160倍，相较于全层微调可节省90-95%的存储空间，这对于存储多个专业策略至关重要。同时，实验结果显示，对于所选任务，LoRA微调与全层微调的成功率没有显著差异。

🔬 方法详解

问题定义：本文旨在解决在多任务强化学习中，尤其是在机器人应用中，策略库的内存使用效率低下的问题。现有方法在全层微调时需要大量内存，限制了策略库的规模和灵活性。

核心思路：论文提出使用低秩适应（LoRA）技术对策略库进行微调，以减少内存占用和计算负担。通过对模型参数的低秩分解，LoRA能够在保持性能的同时显著降低存储需求。

技术框架：整体架构包括使用近端策略优化（PPO）算法作为基线模型，通过LoRA对不同任务进行微调。主要模块包括模型初始化、低秩适应层的添加、任务特定的微调过程以及策略库的管理。

关键创新：最重要的技术创新在于将LoRA应用于强化学习中的策略库构建，显著提高了内存效率。与传统的全层微调方法相比，LoRA能够在不牺牲性能的前提下，减少内存使用。

关键设计：在实验中，LoRA的超参数设置对内存节省效果至关重要。具体设计包括选择合适的低秩矩阵维度、损失函数的优化以及微调策略的选择，以确保在不同任务间的有效迁移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LoRA技术后，内存使用量减少了20-160倍，相较于全层微调节省了90-95%的存储空间。此外，LoRA微调与全层微调在任务成功率上没有显著差异，显示出其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括多任务机器人控制、智能制造和自动化系统等。通过优化策略库的内存使用，能够在资源受限的环境中实现更高效的机器人学习和决策，未来可能推动机器人技术的广泛应用。

📄 摘要（原文）

When fine-tuning Large Language Models (LLMs), there has been success in minimizing both memory usage and computation with Parameter-Efficient Fine-Tuning (PEFT), like Low Rank Adaptation (LoRA). In this article, we have explored whether this approach is transferable to the world of robotics and Reinforcement Learning (RL), allowing learning with reduced memory usage and improved computational performance. Specifically, we focused on a version of multi-task robotics, where a library of specialist policies are created. In such a library memory efficiency is especially important. We used a Proximal Policy Optimization (PPO) algorithm and fine-tuned a baseline model to different tasks using LoRA. Our results demonstrate that, depending on the hyperparameters, LoRA can minimize memory usage by a factor of 20-160 compared to full fine-tuning of all layers. This implies a 90-95% storage saving when deploying a library of many (10-50) specialized policies, which can be the differentiating factor between being able to store the entire library in memory or having to use swap-memory in an applied robotics setting. At the same time, our results indicate that there is no significant difference in the success-rate between full fine-tuning and LoRA fine-tuning for the selected tasks.