Explore More, Drift Less: Outcome-Only Reinforcement Learning Can Suffice for Long-Horizon Interactive Agents

📄 arXiv: 2609.01245v1 📥 PDF

作者: Liming Pu, Xiaoxia Li, Yifu Liu, Teng Cao, Bin Yang

分类: cs.LG, cs.AI

发布日期: 2026-09-01

备注: 13 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出CANOPY以解决长时间交互任务中的信号稀缺与策略漂移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 长时间交互 策略更新 信号稀缺 CANOPY协议 智能体训练 Qwen模型

📋 核心要点

  1. 现有的强化学习方法在长时间交互任务中面临信号稀缺和策略漂移的问题，导致训练效果受限。
  2. 本文提出的CANOPY协议通过扩展同任务探索和保持策略更新在政策上，解决了信号稀缺和策略漂移的挑战。
  3. 在AppWorld基准测试中，使用CANOPY训练的Qwen3-14B策略在公共排行榜上取得了优异成绩，显示出其有效性和潜力。

📝 摘要（中文）

强化学习是一种自然的方式，用于对长时间交互任务进行后训练，然而普遍认为仅依赖结果的强化学习在小型开放模型上会遇到瓶颈。本文提出CANOPY（Coverage-ANchored On-PolicY RL）协议，旨在解决信号稀缺和策略漂移的问题。通过扩展同任务探索，保持每次更新在策略上，并在测试时扩大交互预算，CANOPY在AppWorld基准测试中取得了显著的成绩，展示了其在没有任务特定监督和辅助信号的情况下的有效性。

🔬 方法详解

问题定义：本文旨在解决在长时间交互任务中，现有方法因信号稀缺和策略漂移而导致的训练效果瓶颈。信号稀缺使得在稀疏奖励下难以获得有效的梯度，而策略漂移则导致政策质量下降。

核心思路：CANOPY协议通过扩大同任务的探索范围，确保在训练过程中能够获得足够的信号，同时保持每次更新在策略上，以避免策略漂移。这样的设计旨在增强训练的稳定性和有效性。

技术框架：CANOPY的整体架构包括三个主要模块：同任务探索模块、策略更新模块和测试阶段的交互预算扩展。首先，通过增加同任务的探索来获取更多的有效信号；其次，所有更新都在策略上进行，确保策略的稳定性；最后，在测试阶段，扩大交互预算以提高性能。

关键创新：CANOPY的核心创新在于其对信号稀缺和策略漂移的双重解决方案，通过在训练过程中保持策略一致性和扩展探索范围，显著提高了训练效果。这与传统方法依赖于稀疏奖励和多样化任务的策略形成鲜明对比。

关键设计：在CANOPY中，关键参数包括探索的规模、KL散度约束的设置，以及更新策略的具体方法。这些设计确保了在训练过程中，策略能够有效地适应环境变化，同时避免了过度拟合和策略漂移。具体的损失函数和网络结构细节将在后续的研究中进一步探讨。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在AppWorld基准测试中，使用CANOPY训练的Qwen3-14B策略在公共排行榜上取得了86.9的测试正常分数和67.6的测试挑战分数，显示出显著的性能提升。此外，Qwen3.5-9B在SWE-bench上也提升了16.6分，验证了CANOPY的有效性。

🎯 应用场景

该研究的潜在应用领域包括长时间交互的智能体训练，如机器人控制、游戏AI和自动化系统等。通过提升智能体在复杂任务中的表现，CANOPY有望在实际应用中实现更高效的学习和决策能力，推动智能体技术的发展。

📄 摘要（原文）

Reinforcement learning is a natural way to post-train LLM agents for long-horizon interactive tasks judged only by end-of-task verification, yet a shared belief holds that outcome-only RL soon hits a ceiling on small open models. Recent work therefore compensates around the training with denser rewards, SFT priors, skill libraries, curated memory, or multi-agent orchestration. We argue the ceiling is an artifact of two failures of common practice. Signal starvation: group-relative RL with sparse outcome-only rewards yields a gradient only when a task's rollout group mixes successes and failures, so under-scaled exploration silences exactly the hardest, most instructive tasks. Policy drift: squeezing many updates out of a small task pool degrades the policy itself, as an unanchored objective lets the sampling distribution collapse exactly when saturation has already made informative groups rare. We present CANOPY (Coverage-ANchored On-PolicY RL), a minimalist protocol attacking both directly: scale same-task exploration until the natural signal reappears, keep every update on-policy, KL-anchored, and confined to the agent's own action tokens, then cash in an enlarged interaction budget at test time. On AppWorld, a long-horizon interactive coding benchmark, a Qwen3-14B policy trained with CANOPY through environment interaction alone--without task-specific supervision, auxiliary credit signals, or elaborate agent scaffolding--topped the public leaderboard (Feb. 2026; Test-Normal TGC 86.9, Test-Challenge 67.6), and the same design principles lift Qwen3.5-9B on SWE-bench Verified by 16.6 points. Agentic RL alone thus internalizes long-horizon capability directly into a small open model; we plan to release the complete training stack at https://github.com/AlibabaResearch/SignalCoverageRL.