SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

📄 arXiv: 2607.26784v1 📥 PDF

作者: Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

分类: cs.LG, cs.AI

发布日期: 2026-07-29

💡 一句话要点

提出SkillRise以解决跨任务技能演化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 技能学习 跨任务学习 代理系统 任务序列 技能演化 解耦信用分配

📋 核心要点

  1. 现有的强化学习方法将任务视为独立情节，无法有效利用任务间的相似性和可重用技能。
  2. SkillRise通过将相关任务组织为逐步挑战的序列，使用单一策略在任务解决和技能策划之间交替，提升了技能学习的效率。
  3. 实验结果显示，SkillRise在多个基准任务上表现优异，Pass@1性能显著提升，且在同一任务的重复尝试中依然有效。

📝 摘要（中文）

大型语言模型代理通常会遇到相关但不同的任务，这些任务共享可重用的解决模式。然而，标准的代理强化学习将任务视为独立的情节，而现有的技能学习方法要么专注于单一任务的重复尝试，要么使用多个阶段的管道，导致提取、检索和执行的交织。我们提出了SkillRise，一个统一的强化学习框架，用于跨任务学习技能。SkillRise将相关实例组织成逐步挑战的序列，并使用单一策略在任务解决和策划不断演变的技能文档之间交替。跨任务的解耦信用分配通过当前任务结果监督解决过程，并通过折扣的下游结果监督策划过程。实验结果表明，SkillRise在ALFWorld、WebShop和ScienceWorld上实现了最强的Pass@1性能，相较于最强基线提升了2.3到8.5个百分点。尽管在不同任务上训练，其学习的策划策略在同一任务的重复尝试中仍然有效。

🔬 方法详解

问题定义：本论文旨在解决现有强化学习方法在处理相关但不同任务时的不足，尤其是任务独立性导致的技能重用效率低下的问题。

核心思路：SkillRise的核心思路是将相关任务组织成逐步挑战的序列，利用单一策略在任务解决和技能策划之间交替，从而实现跨任务的技能演化和重用。

技术框架：SkillRise框架包括任务序列的组织、技能文档的策划和解耦的信用分配机制。任务序列通过逐步增加难度来促进技能的演化，而技能文档则在任务间传递。

关键创新：SkillRise的主要创新在于其解耦的信用分配机制，使得当前任务的解决与下游任务的策划相互独立，从而提高了技能的可重用性和学习效率。

关键设计：在设计中，SkillRise采用了单一策略网络，结合了当前任务结果和折扣的下游结果进行训练，确保了技能的有效提取和演化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ALFWorld、WebShop和ScienceWorld的实验中，SkillRise实现了最强的Pass@1性能，相较于最强基线提升了2.3到8.5个百分点。此外，尽管在不同任务上训练，学习的策划策略在同一任务的重复尝试中依然保持有效。

🎯 应用场景

SkillRise的研究成果在多种领域具有潜在应用价值，包括机器人控制、自动化任务处理和智能代理系统等。通过有效提取和重用技能，该方法可以显著提高系统在复杂环境中的适应能力和效率，推动智能代理技术的发展。

📄 摘要（原文）

Large language model agents often encounter related yet distinct tasks that share reusable solution patterns. Yet standard agentic reinforcement learning treats tasks as independent episodes, while existing approaches to skill learning either focus on repeated attempts of one task or use pipelines with multiple stages that entangle extraction, retrieval, and execution. We introduce SkillRise, a unified reinforcement learning framework for learning skills across tasks. SkillRise organizes related instances into progressively challenging sequences and uses a single policy to alternate between task solving and curating an evolving skill document passed directly to the next task. Decoupled credit assignment across tasks supervises solving with the current task outcome and curation with discounted downstream outcomes. Experiments on ALFWorld, WebShop, and ScienceWorld show that SkillRise achieves the strongest Pass@1 performance among the compared methods, with gains over the strongest baseline ranging from 2.3 to 8.5 percentage points. Although trained across distinct tasks, its learned curation policy remains effective for repeated attempts on the same task. Further analysis reveals scaling at test time across tasks: performance improves with longer sequences of related tasks even when each task is attempted only once. This trend suggests that SkillRise reuses transferable skills across tasks rather than benefiting from repeated sampling of the same task. SkillRise further retains strong performance while substantially reducing the runtime overhead of skill learning pipelines with multiple stages. Together, these results provide a simple and efficient training paradigm for LLM agents to extract, refine, and reuse transferable skills across tasks.