ToolSample: Dual Dynamic Sampling Methods with Curriculum Learning for RL-based Tool Learning

📄 arXiv: 2509.14718v1 📥 PDF

作者: Zihao Feng, Xiaoxue Wang, Bowen Wu, Hailong Cao, Tiejun Zhao, Qun Yu, Baoxun Wang

分类: cs.LG, cs.CL

发布日期: 2025-09-18

💡 一句话要点

提出DSCL框架，通过双重动态采样与课程学习提升RL工具学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 工具学习 动态采样 课程学习 多任务学习 LLM 奖励函数

📋 核心要点

  1. 基于强化学习的LLM工具学习效率受大量简单样本影响，现有动态采样方法难以适应其多任务和精细奖励特性。
  2. DSCL框架通过奖励驱动的动态采样和任务驱动的动态课程学习，针对性地解决工具学习中的效率瓶颈。
  3. 实验表明，DSCL在BFCLv3基准测试中性能提升3.29%，验证了其在工具学习中的有效性。

📝 摘要（中文）

本文提出了一种名为动态采样与课程学习（DSCL）的框架，旨在解决基于强化学习（RL）的LLM工具学习中，因简单样本过多而导致的效率低下问题。现有动态采样技术难以适应工具学习中固有的多任务结构和精细化奖励机制。DSCL专门针对工具学习的特点进行设计，包括相互依赖的子任务和多值奖励函数。该框架包含两个核心组件：基于奖励的动态采样，利用多维奖励统计信息（均值和方差）来优先选择有价值的数据；以及基于任务的动态课程学习，自适应地将训练重点放在掌握程度较低的子任务上。通过大量实验，证明DSCL显著提高了训练效率和模型性能，在BFCLv3基准测试中实现了3.29%的改进。该方法提供了一种定制化的解决方案，有效地利用了工具学习中复杂的奖励信号和子任务动态，从而获得卓越的成果。

🔬 方法详解

问题定义：在基于强化学习的LLM工具学习中，随着训练的进行，会产生大量的简单样本，这些样本的学习价值逐渐降低，导致训练效率低下。现有的动态采样方法通常是为通用强化学习任务设计的，无法有效处理工具学习中复杂的多任务结构和精细化的奖励机制，例如不同子任务的奖励尺度不一致，以及奖励的稀疏性等问题。

核心思路：DSCL的核心思路是利用工具学习中特有的多任务结构和多值奖励函数，设计一种双重动态采样策略。首先，通过奖励统计信息（均值和方差）来评估样本的价值，优先选择信息量大的样本进行训练。其次，根据各个子任务的掌握程度，动态调整训练的重点，优先训练掌握程度较低的子任务，从而提高整体的学习效率。

技术框架：DSCL框架主要包含两个核心模块：奖励驱动的动态采样（Reward-Based Dynamic Sampling）和任务驱动的动态课程学习（Task-Based Dynamic Curriculum Learning）。奖励驱动的动态采样模块负责根据样本的奖励统计信息，计算样本的优先级，并根据优先级选择样本进行训练。任务驱动的动态课程学习模块负责根据各个子任务的训练进度，动态调整各个子任务的训练权重，优先训练掌握程度较低的子任务。这两个模块相互协作，共同提高工具学习的效率。

关键创新：DSCL的关键创新在于其双重动态采样策略，即同时考虑样本的奖励价值和子任务的掌握程度。与传统的动态采样方法相比，DSCL能够更有效地利用工具学习中的信息，从而提高训练效率。此外，DSCL还引入了课程学习的思想，通过动态调整子任务的训练权重，进一步提高了学习效率。

关键设计：在奖励驱动的动态采样模块中，使用了奖励的均值和方差作为样本价值的评估指标。均值反映了样本的平均奖励，方差反映了样本奖励的不确定性。通过综合考虑均值和方差，可以更准确地评估样本的价值。在任务驱动的动态课程学习模块中，使用了各个子任务的训练损失作为子任务掌握程度的评估指标。训练损失越大，说明子任务的掌握程度越低，应该给予更高的训练权重。

📊 实验亮点

实验结果表明，DSCL框架在BFCLv3基准测试中取得了显著的性能提升，相比于现有最佳基线方法，性能提升了3.29%。这表明DSCL能够有效地利用工具学习中的复杂奖励信号和子任务动态，从而提高训练效率和模型性能。此外，实验还验证了DSCL框架的各个组成部分的有效性。

🎯 应用场景

DSCL框架可应用于各种基于强化学习的LLM工具学习场景，例如智能体利用外部API完成复杂任务、机器人控制等。该方法能够提升模型训练效率，降低计算成本，并提高模型性能，从而加速相关技术的落地和应用。未来，该方法还可扩展到其他多任务学习和奖励稀疏的环境中。

📄 摘要（原文）

While reinforcement learning (RL) is increasingly used for LLM-based tool learning, its efficiency is often hampered by an overabundance of simple samples that provide diminishing learning value as training progresses. Existing dynamic sampling techniques are ill-suited for the multi-task structure and fine-grained reward mechanisms inherent to tool learning. This paper introduces Dynamic Sampling with Curriculum Learning (DSCL), a framework specifically designed to address this challenge by targeting the unique characteristics of tool learning: its multiple interdependent sub-tasks and multi-valued reward functions. DSCL features two core components: Reward-Based Dynamic Sampling, which uses multi-dimensional reward statistics (mean and variance) to prioritize valuable data, and Task-Based Dynamic Curriculum Learning, which adaptively focuses training on less-mastered sub-tasks. Through extensive experiments, we demonstrate that DSCL significantly improves training efficiency and model performance over strong baselines, achieving a 3.29\% improvement on the BFCLv3 benchmark. Our method provides a tailored solution that effectively leverages the complex reward signals and sub-task dynamics within tool learning to achieve superior results.