DE-Venus: A Data-Efficient RLVR Framework for Large Language Models
作者: Shenzhi Yang, Guangcheng Zhu, Kai Tang, Zhengqing Zang, Xing Zheng, Haobo Wang, Yingfan Ma, Bowen Song, Bo Han, Bo An, Lei Feng, Weiqiang Wang, Junbo Zhao, Gang Chen
分类: cs.LG
发布日期: 2026-09-03
💡 一句话要点
提出DE-Venus框架以解决RLVR中的数据效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 可验证奖励 数据效率 弱监督 模型优化 自然语言处理 智能应用
📋 核心要点
- 现有RLVR方法在扩展性上受到高昂的在线回合和获取可靠目标成本的限制，难以实现数据高效的训练。
- DE-Venus框架通过将监督视为演变状态，整合主动数据选择、弱监督构建和训练时监督精炼三个模块，提升数据利用效率。
- 在多个公共基准和实际业务场景中，DE-Venus仅使用少量标签和数据即可保持或提升模型性能，并显著减少收敛步骤。
📝 摘要（中文）
强化学习与可验证奖励（RLVR）提升了大型语言模型的推理能力，但其实际扩展受到昂贵的在线策略回合和获取可靠目标的成本限制。现有方法分别解决样本选择、不完整监督或噪声标签，往往将监督逻辑与分布式训练纠缠在一起，妨碍了受控比较和重用。本文提出DE-Venus，一个统一的数据高效RLVR框架，将监督视为数据准备和策略优化中的演变状态。该框架将生命周期组织为三个模块：主动数据选择、弱监督构建和训练时监督精炼。DE-Venus在公共基准和三个业务场景中表现出色，仅用10%的标签或13%的相关数据即可保持或提升模型质量，同时减少观察到的收敛步骤63%至75%。
🔬 方法详解
问题定义：本文旨在解决现有RLVR方法在扩展性和数据效率方面的不足，尤其是在昂贵的在线策略回合和获取可靠目标的成本问题。
核心思路：DE-Venus框架的核心思想是将监督视为数据准备和策略优化过程中的演变状态，通过整合多个模块来提升数据利用效率，从而降低训练成本。
技术框架：DE-Venus的整体架构包括三个主要模块：主动数据选择（分配训练和注释预算）、弱监督构建（从未标记样本中提取学习信号）和训练时监督精炼（过滤或修正不可靠的监督）。
关键创新：DE-Venus的创新在于将监督过程模块化，允许方法特定的决策以离线数据集转换或在线目标、奖励、批次和优势的变换形式表达，从而保持分布式执行的契约。
关键设计：在设计上，DE-Venus支持七种代表性方法，并通过精确的参数设置和损失函数设计，确保在使用少量标签和数据时仍能保持模型质量。
🖼️ 关键图片
📊 实验亮点
在实验中，DE-Venus在公共基准和三个业务场景中表现优异，使用仅10%的标签或13%的相关数据即可保持或提升模型质量，同时观察到的收敛步骤减少了63%至75%，显示出显著的性能提升。
🎯 应用场景
DE-Venus框架具有广泛的应用潜力，特别是在需要高效数据利用的领域，如自然语言处理、对话系统和智能客服等。其降低的注释和训练成本将使得更多企业能够在资源有限的情况下，利用大型语言模型进行智能化应用。
📄 摘要（原文）
Reinforcement learning with verifiable rewards (RLVR) improves large language model reasoning, but its practical scaling is constrained by expensive on-policy rollouts and the cost of obtaining reliable targets at scale. Existing methods address sample selection, incomplete supervision, or noisy labels separately, often entangling supervision logic with distributed training and hindering controlled comparison and reuse. We present DE-Venus, a unified framework for data-efficient RLVR that treats supervision as evolving state across data preparation and policy optimization. It organizes this lifecycle into three modules: Active Data Selection allocates training and annotation budgets; Weak Supervision Construction derives learning signals from unlabeled examples; and Training-Time Supervision Refinement filters or corrects unreliable supervision. DE-Venus supports seven representative methods and a data-selection pipeline by expressing method-specific decisions as offline dataset transitions or online transformations of targets, rewards, batches, and advantages while preserving verl's distributed execution contracts. Across public benchmarks and three business scenarios, separate configurations preserve or improve model quality with only 10% of labels or as little as 13% of relevant data; selected business configurations also reduce observed convergence steps by 63%--75%. DE-Venus thus reduces annotation and training costs without sacrificing scalable RL execution.