Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training
作者: Ting Zhou, Zhenqing Ling, Daoyuan Chen, Qianli Shen, Yilun Huang, Ying Shen, Yaliang Li
分类: cs.LG, cs.AI
发布日期: 2026-08-10
💡 一句话要点
提出TrajVal以解决任务学习性评估不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 任务学习性 后训练优化 模型评估 数据效率 推理能力 任务采样
📋 核心要点
- 现有的任务评估方法未能有效考虑任务在强化学习优化过程中的响应差异，导致资源分配不均。
- 本文提出TrajVal，通过分析奖励轨迹来评估任务学习性，从而优化任务采样策略，提高训练效率。
- 实验结果显示，TrajVal在数学和逻辑推理基准上显著提高了数据效率，并与在线调度方法结合时表现出更好的性能。
📝 摘要（中文）
强化学习（RL）已成为激发大型语言模型推理能力的核心后训练范式，但现有的任务采样方法未能考虑任务对优化的响应差异。现有的任务评估方法主要依赖于快照信号，如当前通过率或奖励，这些信号只能估计任务在当前策略下的可解性。本文提出了一种新的度量标准——任务学习性，作为对固定RL后训练机制下继续训练的预期正响应的度量。通过分析每个任务的奖励轨迹，我们发现学习性在独立采样的训练上下文中是可重复的，并且能够预测下游效用。为使这一信号在训练开始前具有实用性，我们提出了TrajVal，一种轻量级的探测器估计器，能够通过短时间的探测运行和两个端点评估来近似每个任务的学习性。实验表明，TrajVal在多个模型规模的数学和逻辑推理基准上提高了数据效率，并在与在线调度方法结合时提供了互补的增益。
🔬 方法详解
问题定义：本文旨在解决现有任务评估方法在强化学习后训练中的不足，特别是未能考虑任务对优化的响应差异，导致任务采样效率低下。
核心思路：提出任务学习性作为一种新的度量标准，评估任务在固定RL后训练机制下的预期正响应，从而优化任务的选择和训练过程。
技术框架：整体架构包括任务学习性评估模块和任务采样模块。首先，通过短时间的探测运行收集任务的奖励轨迹，然后利用这些轨迹计算每个任务的学习性，最后根据学习性进行任务采样。
关键创新：TrajVal是本文的核心创新点，通过轻量级的探测器估计器实现了任务学习性的快速评估，与现有方法相比，它能够更准确地反映任务的潜在学习能力。
关键设计：TrajVal的设计包括两个端点评估和短探测运行的结合，确保在计算效率和评估准确性之间取得平衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TrajVal在数学和逻辑推理基准上相较于均匀采样提高了数据效率，具体表现为在多个模型规模上，任务学习性评估显著提升了训练效果，并在与在线调度方法结合时提供了额外的性能增益。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的后训练优化、智能问答系统、自动推理系统等。通过提高任务采样的效率，能够显著提升模型在复杂推理任务中的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Reinforcement learning (RL) has become a central post-training paradigm for eliciting reasoning capabilities in large language models, yet uniform task sampling allocates compute without regard to differences in how tasks respond to optimization. Existing task-valuation methods mostly rely on snapshot-based signals such as current pass rate or reward, which estimate how solvable a task is under the current policy. However, tasks with similar current solvability can still differ substantially in how positively they respond to further training. We study this residual axis as task learnability: a regime-conditional measure of expected positive response to continued training under a fixed RL post-training regime. By analyzing per-task reward trajectories, we find that learnability is reproducible across independently sampled training contexts and predictive of downstream utility. To make this signal practical before training begins, we propose TrajVal, a lightweight probe-based estimator that approximates per-task learnability from a short probe run and two endpoint evaluations. TrajVal can be used either as a standalone static prior for task sampling or as a multiplicative prior for existing online schedulers. Experiments on mathematical and logical reasoning benchmarks across multiple model scales show that TrajVal improves data efficiency over uniform sampling and provides complementary gains when combined with online scheduling methods.