When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning

📄 arXiv: 2610.36849v1 📥 PDF

作者: Zehao Wang, Hanzhu Chen, Runquan Gui, Zhe Wang, Lin Yang

分类: cs.LG, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出PICO以解决强化学习中的困难问题推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 联合解码 专家轨迹 推理能力 策略兼容 动态机制

📋 核心要点

  1. 现有的强化学习方法在面对超出模型能力范围的问题时，无法提供有效的学习信号，导致更新崩溃。
  2. 本文提出的PICO方法通过分布约束的联合解码，确保专家数据与当前策略兼容，从而提供有效的学习信号。
  3. 实验结果表明，PICO在多个推理数据集上表现优于传统的RLVR和离线基线，显示出显著的性能提升。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）通过在线策略探索从二元奖励中获取学习信号，成为提升大型语言模型推理能力的有效范式。然而，当每次尝试均失败时，样本无法提供正确解决方案的信息，导致更新崩溃。专家轨迹提供了一种解决方案，但与当前策略不兼容，且常位于学生的低概率区域。本文提出了策略兼容强化学习（PICO），通过分布约束的联合解码，确保专家数据在令牌级别指导解码，同时保持学生的相对令牌概率。实验表明，PICO在多种推理数据集和代理基准上表现优于标准RLVR和先前的离线基线。

🔬 方法详解

问题定义：本文旨在解决强化学习在面对困难推理问题时的学习信号不足问题。现有方法在所有尝试失败时，无法提供有效的样本信息，导致更新崩溃。

核心思路：PICO方法的核心思想是通过专家数据指导解码，同时保持当前策略的相对概率，从而确保学习信号的有效性和兼容性。

技术框架：PICO的整体架构包括专家数据引导的令牌级解码、动态的top-k机制和混合行为目标的联合优化。专家数据在解码过程中起到指导作用，而动态机制则限制了采样分布的偏差。

关键创新：PICO的主要创新在于其分布约束的联合解码方法，确保生成的轨迹在结构上是可验证且与当前策略兼容的。这一设计与传统的强化学习方法有本质区别。

关键设计：在PICO中，采用了动态top-k机制来控制采样分布的偏差，同时使用重要性采样来缓解分布不匹配的问题。损失函数设计为混合行为目标，以优化专家轨迹和在线策略的联合表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PICO在多个推理数据集上均优于标准RLVR和先前的离线基线，具体表现为在某些基准上提升了超过15%的性能。这一结果表明PICO在处理困难问题推理时的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和复杂决策支持系统。通过提升模型在困难推理任务中的表现，PICO能够为实际应用提供更可靠的智能决策能力，推动人工智能技术的进一步发展。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) derives its learning signal from binary rewards via on-policy exploration and becomes a powerful paradigm for improving the reasoning of large language models. Yet it faces a learning cliff on problems beyond model's current ability: when every rollout fails, the samples reveal nothing about a correct solution, and group-relative estimators (e.g., GRPO, RLOO) collapse the update to zero advantage. Expert trajectories offer a remedy, but they are incompatible with the current policy and often lie in the student's low-probability regions, so the surviving updates demand large parameter shifts and decay into surface-level imitation rather than transferable reasoning. We argue that a useful learning signal on hard problems must be both verifiably correct and sufficiently compatible with the current policy. We propose Policy-Compatible Reinforcement Learning (PICO), which performs distribution-constrained joint decoding: expert data guides decoding at the token level while preserving the student's relative token probabilities, and a dynamic top-k mechanism confines the sampling distribution under a finite divergence budget, yielding trajectories that are verified and policy-compatible by construction. These trajectories are optimized jointly with on-policy rollouts under a mixed-behavior objective that mitigates their distribution mismatch via importance sampling. Experiments across reasoning diverse datasets and agentic benchmarks demonstrate that PICO consistently outperforms standard RLVR and prior off-policy baselines.