TalentRL: Strategy-Guided Reinforcement Learning for Hierarchical Skill Routing

📄 arXiv: 2610.41143v1 📥 PDF

作者: Huancheng Chen, Xiaodi Sun, Zhaoqiong Huang, Michelle Chang, Jingwen Lu

分类: cs.LG

发布日期: 2026-10-30

💡 一句话要点

提出TalentRL以解决技能选择策略不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 层次路由 技能选择 自然语言处理 智能代理 程序记忆 策略引导

📋 核心要点

  1. 现有方法在技能选择时未能有效建模高层策略，导致技能使用效率低下。
  2. TalentRL通过引入策略引导的强化学习框架，实现了对技能的层次路由，优化了技能选择过程。
  3. 在七个开放域和多跳问答基准上，TalentRL显著提高了成功率，尤其在ALFWorld和WebShop基准中表现最佳。

📝 摘要（中文）

自然语言技能使大型语言模型（LLM）代理能够在任务间重用程序，但大多数系统从平坦的技能库中检索单个技能，而未明确建模指导其选择和使用的高层策略。我们提出了TalentRL，一种基于策略引导的强化学习框架，用于程序记忆的层次路由。粗粒度的才能表示技能使用的重复策略，而细粒度的技能提供可执行程序。通过对比相同任务下的不同干预，TalentRL训练才能路由，并优化下游执行。实验表明，TalentRL在多个基准测试中显著提高了成功率，尤其在ALFWorld和WebShop基准上表现优异。

🔬 方法详解

问题定义：现有技能选择系统通常从平坦的技能库中检索技能，缺乏高层策略的建模，导致技能使用的效率和效果不佳。

核心思路：TalentRL通过引入层次化的才能和技能概念，利用策略引导的强化学习来优化技能选择和执行过程，从而提高任务完成的成功率。

技术框架：TalentRL的整体架构包括才能选择模块和技能检索模块。首先，策略模型选择一个才能，然后根据相似性检索与之关联的技能，最后执行选定的技能。

关键创新：TalentRL的主要创新在于通过奖励对比训练才能路由，能够有效区分路由决策的贡献，优化下游执行效果。

关键设计：在训练过程中，使用了针对才能条件上下文的匹配干预，设计了特定的损失函数以优化技能选择和执行的相对优势。

🖼️ 关键图片

fig_0

📊 实验亮点

在七个开放域和多跳问答基准上，TalentRL在Qwen2.5-7B、Qwen3-8B和Llama-3.1-8B模型上分别提高了7.53%、6.71%和9.21%的成功率。通过强化学习，进一步提升了这些基准的成功率，TalentRL在ALFWorld和WebShop基准上分别达到了99.3%和90.7%的最高成功率。

🎯 应用场景

TalentRL的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效技能选择和执行的智能代理系统中，如自动化客服、智能助手和复杂任务的机器人系统。未来，该框架可以进一步扩展到更多的任务类型和领域，提升智能系统的自主学习能力和适应性。

📄 摘要（原文）

Natural-language skills enable large language model (LLM) agents to reuse procedures across tasks, yet most systems retrieve individual skills from a flat SkillBank without explicitly modeling the high-level strategy that governs their selection and use. We introduce TalentRL, a strategy-guided reinforcement learning framework for hierarchical routing over procedural memory. Coarse-grained talents represent recurring strategies for skill use, while fine-grained skills provide executable procedures. For each task, the policy model selects a talent that guides execution and softly prioritizes its associated skills during similarity-based retrieval. However, since task outcomes depend jointly on talent selection, retrieved skill context, and downstream execution, terminal rewards alone cannot isolate the contribution of the routing decision. TalentRL therefore trains talent routing with reward contrasts between rollouts of the same task under matched interventions on the talent-conditioned context, and optimizes downstream execution with group-relative advantages. Across seven open-domain and multi-hop question-answering benchmarks, talent-aware supervised fine-tuning improves average success rate by 7.53%, 6.71%, and 9.21% over the corresponding zero-shot baselines for Qwen2.5-7B, Qwen3-8B, and Llama-3.1-8B, respectively. Reinforcement learning further improves these SFT checkpoints by 7.58% to 9.32%, and TalentRL achieves the highest average success rate among all compared methods on all three backbones. On the agentic benchmarks ALFWorld and WebShop, TalentRL achieves the highest ALFWorld success rate (99.3%) and the highest WebShop score (90.7) among all compared methods.