Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows

📄 arXiv: 2607.01465 📥 PDF

作者: Karthikeya Aditya Vissa, Sankalp Mane, Ananya Mantravadi, Harshit Rajgarhia, Abhishek Mukherji

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出RLVR方法以优化企业API工具使用的效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 API优化 企业SaaS 工具使用 模型训练

📋 核心要点

  1. 现有大型语言模型在企业API的使用中存在目标不匹配，导致操作失败和效率低下。
  2. 论文提出通过可验证奖励的强化学习（RLVR）直接在目标环境中训练，以优化API调用的效果。
  3. 实验表明，RL训练的策略在多个场景中显著提升了奖励，特别是在Confluence页面创建任务中取得了最大提升。

📝 摘要（中文）

大型语言模型通常被训练用于预测下一个token，而非在特定API中执行操作。在企业SaaS工作流中，这种目标不匹配导致了静默失败，如丢失必要字段、虚构工具或在单次读取后提前停止。本文探讨了在目标环境中直接应用可验证奖励的强化学习（RLVR）是否能弥补这一差距。作为概念验证，构建了五个合成环境，模拟Jira REST v3和Confluence v2 API，奖励完全基于工具调用轨迹计算。实验结果显示，RL训练的策略在四个非退化场景中将平均奖励从0.35-0.92提升至0.95-1.00，尤其在Confluence页面创建场景中，奖励从0.35提升至1.00。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在特定API操作中的目标不匹配问题，现有方法常导致操作失败和效率低下。

核心思路：通过在目标环境中应用可验证奖励的强化学习（RLVR），直接从工具调用轨迹中计算奖励，以优化API的使用效果。

技术框架：整体架构包括五个合成环境，模拟Jira REST v3和Confluence v2 API，奖励计算完全基于工具调用轨迹，无需实时API或人工标注。

关键创新：最重要的创新在于无需依赖实时API和人工评估，完全通过工具调用轨迹计算奖励，从而实现了高效的训练过程。

关键设计：在奖励设计上，手工构建的可验证奖励适用于少量端点，且在某些场景中（如票据转换）存在奖励饱和的问题。实验中使用了Qwen3-1.7B和Qwen3.5-4B模型进行评估。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，RL训练的策略在四个非退化场景中将平均奖励从0.35-0.92提升至0.95-1.00，尤其在Confluence页面创建任务中，奖励从0.35提升至1.00，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括企业级SaaS工具的自动化操作，尤其是在需要精确API调用的场景中。通过优化API的使用效果，可以显著提升工作效率，降低人工干预的需求，未来可能推动更多智能化的企业应用。

📄 摘要（原文）

Large language models are trained to predict the next token, not to act inside a specific API. In niche enterprise SaaS workflows -- where success means hitting the right endpoint with the right nested arguments in the right order -- this objective mismatch shows up as silent failures: dropped required fields, hallucinated tools, or early stops after a single read. We ask whether Reinforcement Learning with Verifiable Rewards (RLVR), applied directly in the target environment, closes the gap. As a proof of concept we build a suite of five synthetic environments emulating the Jira REST v3 and Confluence v2 APIs at schema fidelity; rewards are computed entirely from the tool-call trace, with no live API, no learned judge, and no human label in the loop. Scoring prompted Qwen3-1.7B and Qwen3.5-4B on the same checkers that drive GRPO training, we find that on the four scenarios whose rewards are non-degenerate the RL-trained policy lifts average reward from a 4B-baseline range of 0.35--0.92 to 0.95--1.00, with the largest single gain on Confluence page creation ($0.35 \rightarrow 1.00$). We position this as a preliminary step toward outcome-optimised small models for niche enterprise APIs, and foreground two limitations a workshop reader should weigh: hand-crafting verifiable rewards does not scale beyond the handful of endpoints reported here, and one of our five scenarios (ticket-transition) has a saturating reward shape that the prompted 4B already maxes out.