SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

📄 arXiv: 2608.10538v1 📥 PDF

作者: Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li

分类: cs.AI

发布日期: 2026-08-11

备注: 15 pages, 6 figures, and 8 tables. Submitted to AAAI 2027. Project and code: https://github.com/DANG-ai/SKILLER

🔗 代码/项目: GITHUB

💡 一句话要点

提出SKILLER以解决小型语言模型技能提取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 技能提取 小型语言模型 自然语言处理 自动化生成 模型优化 性能提升

📋 核心要点

  1. 现有的技能生成方法在高推理成本和小型模型适应性方面存在显著挑战，限制了其在实际应用中的有效性。
  2. SKILLER通过强化学习框架，利用强模型作为演员和评论家，完全通过自然语言传播信号，自动生成小型模型的技能。
  3. 在五个相关基准测试中，SKILLER在9B模型上实现了4.3到20.4个百分点的绝对提升，在4B模型上实现了1.8到13.3点的提升，表现出色。

📝 摘要（中文）

代理技能代表了一种标准化格式，用于打包程序知识和领域专业知识，作为代理系统中的重要机制，持续约束语言模型的行为空间，以实现可重复的高质量任务执行。然而，由于强大的闭源模型带来了高昂的推理成本，当前流行的代理系统（如Codex和OpenClaw）在实际任务中部署这些技能时仍然过于昂贵。为此，我们提出了SKILLER，一个基于自然语言的强化学习框架，旨在自动生成针对小型模型的执行器特定技能。通过对Qwen3.5-9B和Qwen3.5-4B的广泛实验评估，SKILLER在技能生成方面超越了三种开源和一种闭源方法，取得了显著的性能提升。

🔬 方法详解

问题定义：本论文旨在解决小型语言模型在技能提取方面的不足，现有方法在高推理成本和适应性方面存在显著挑战，限制了其在实际应用中的有效性。

核心思路：SKILLER提出了一种基于自然语言的强化学习框架，利用强模型作为演员和评论家，自动生成针对小型模型的执行器特定技能，从而降低推理成本并提高技能生成的有效性。

技术框架：SKILLER的整体架构包括三个主要模块：强模型作为演员和评论家，小型模型代理系统作为环境，以及自然语言信号的传播机制。通过这些模块的协同工作，实现了技能的自动生成。

关键创新：SKILLER的主要创新在于通过自然语言完全传播强化学习信号，这与现有方法依赖于复杂的编码和解码机制形成鲜明对比，显著简化了技能生成过程。

关键设计：在设计上，SKILLER采用了特定的损失函数来优化技能生成的质量，并在网络结构上进行了调整，以适应小型模型的特性，确保生成的技能具有较高的实用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SKILLER在五个基准测试中表现优异，9B模型的绝对提升范围为4.3到20.4个百分点，4B模型的提升范围为1.8到13.3点，显著超越了三种开源和一种闭源的技能生成方法，并在单技能任务中与强闭源模型的性能相匹配。

🎯 应用场景

SKILLER的研究成果在多个领域具有广泛的应用潜力，包括智能助手、自动化编程、游戏AI等。通过降低技能生成的成本和提高效率，SKILLER能够推动小型语言模型在实际任务中的应用，提升用户体验和工作效率。

📄 摘要（原文）

Agent skills represent a standardized format for packaging procedural knowledge and domain expertise, serving within agent harness systems as an essential mechanism to continually constrain a language model's behavior space for repeatable, high-quality task execution. However, because strong closed-source models entail high inference costs, current popular agent harnesses, such as Codex and OpenClaw, remain prohibitively expensive when deploying these skills to accomplish real-world tasks. The rapid capability enhancement of open-source models deployable on consumer-grade GPUs presents a compelling opportunity to drastically reduce these costs by leveraging skill-based behavioral constraints. Nevertheless, automatically generating effective skills tailored specifically for such compact models remains a significant practical challenge. To address this, we propose SKILLER, a natural-language-driven reinforcement learning framework designed to automatically generate executor-specific skills for small models, which employs a strong model as the actor and critic, treats the small-model agent system as the environment, and propagates all reinforcement learning signals entirely via natural language. Extensive experimental evaluations across five relevant benchmarks using Qwen3.5-9B and Qwen3.5-4B demonstrate that SKILLER outperforms three open-source and one closed-source skill generation or evolution methods, achieving absolute gains ranging from 4.3 to 20.4 percentage points for the 9B model and 1.8 to 13.3 points for the 4B model, while remarkably matching the performance of strong closed-source models on single-skill tasks in SkillsBench. The project is available at https://github.com/DANG-ai/SKILLER.