CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

📄 arXiv: 2606.14179v1 📥 PDF

作者: Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出CacheRL以解决多步骤工具调用任务中的训练效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具调用 强化学习 代理模型 缓存机制 多步骤任务 知识转移 训练效率

📋 核心要点

  1. 现有方法在多步骤工具调用任务中存在计算效率低和知识转移困难的问题。
  2. CacheRL通过混合思维轨迹、三层模糊缓存和动态调整奖励机制来解决这些问题。
  3. 实验结果显示，CacheRL在公共工具调用基准上表现出色，验证奖励显著提升，且强化学习提升了训练稳定性。

📝 摘要（中文）

我们提出了CacheRL，一个用于训练小型代理基础模型的系统，在多步骤工具调用任务中实现了92%的过程准确率，接近GPT-5的94%，但计算需求减少了100倍。该方法解决了实际代理训练中的三个挑战：大规模转移工具调用知识、在不进行昂贵实时工具执行的情况下实现强化学习，以及从嘈杂的缓存环境中稳健学习。CacheRL引入了三项关键创新：混合思维轨迹管道、CacheAgentLoop和缓存层感知奖励。通过迭代的监督微调和群体相对策略优化，CacheRL显著提高了Qwen3-4B-Thinking的验证奖励，从0.43提升至0.78。

🔬 方法详解

问题定义：本论文旨在解决多步骤工具调用任务中小型代理模型的训练效率低下和知识转移困难的问题。现有方法通常依赖于大型模型进行训练，导致计算资源消耗巨大。

核心思路：CacheRL的核心思路是通过缓存机制和混合思维轨迹来优化代理模型的训练过程，从而在减少计算需求的同时提高模型的准确性和鲁棒性。

技术框架：CacheRL的整体架构包括三个主要模块：混合思维轨迹管道、CacheAgentLoop和缓存层感知奖励。混合思维轨迹管道用于生成带有推理痕迹的训练示例，CacheAgentLoop通过模糊缓存消除实时执行成本，而缓存层感知奖励则动态调整模型的奖励机制。

关键创新：CacheRL的关键创新在于引入了混合思维轨迹和三层模糊缓存，这与现有方法的直接执行和静态奖励机制形成了本质区别。通过这种设计，模型不仅学习工具调用的选择，还理解其背后的原因。

关键设计：在技术细节上，CacheAgentLoop采用了基于token级别的掩码技术来保持轨迹的保真度，同时动态调整奖励权重以避免因缓存限制而对模型进行惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CacheRL在公共工具调用基准上表现优异，验证奖励从0.43提升至0.78，显示出41%的性能提升。此外，缓存感知奖励的引入带来了17%的额外改善，强化学习虽然提升了训练稳定性，但在强监督微调后收益有限。

🎯 应用场景

CacheRL的研究成果在多个领域具有广泛的应用潜力，包括智能助手、自动化工具调用和机器人控制等。通过提高小型代理模型的训练效率和准确性，该方法能够推动更智能的自动化系统的发展，降低企业在工具调用任务中的计算成本。

📄 摘要（原文）

We present CacheRL, a system for training small agent foundation models that achieves 92 percent process accuracy on multi-step tool-calling tasks, approaching GPT-5's 94 percent while requiring 100 times less compute. Our approach addresses three challenges in practical agent training: transferring tool-calling knowledge from large models at scale, enabling reinforcement learning without costly live tool execution, and learning robustly from noisy cached environments. CacheRL introduces three key innovations. First, a hybrid thinking trajectory pipeline augments agent trajectories with LLM-generated reasoning traces, producing training examples that teach models not only what tools to call but also why. Second, the CacheAgentLoop eliminates live execution costs through a three-tier fuzzy cache while preserving trajectory fidelity using token-level masking. Third, a cache-tier-aware reward dynamically adjusts answer-quality weights to avoid penalizing models for cache-induced limitations. Through iterative supervised fine-tuning (SFT) and Group Relative Policy Optimization (GRPO), CacheRL improves Qwen3-4B-Thinking's validation reward from 0.43 to 0.78. On public agentic tool-calling benchmarks, our model achieves competitive performance against frontier models such as GPT-5. Ablation studies show that removing knowledge transfer reduces performance by 41 percent, while cache-aware rewards contribute a 17 percent improvement. Interestingly, reinforcement learning improves training stability but yields limited gains beyond strong supervised fine-tuning, suggesting that data quality and reward design play a more important role than complex optimization methods in building practical small agent models.