VerIF: Verification Engineering for Reinforcement Learning in Instruction Following

📄 arXiv: 2506.09942v1 📥 PDF

作者: Hao Peng, Yunjia Qi, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li

分类: cs.CL, cs.AI

发布日期: 2025-06-11

备注: 16 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出VerIF以解决指令跟随中的强化学习验证问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 指令跟随 验证工程 大型语言模型 数据集构建 模型训练 性能评估

📋 核心要点

  1. 现有的指令跟随强化学习方法在验证方面存在不足，导致模型性能和可靠性受限。
  2. 本文提出VerIF方法，通过结合规则基础的代码验证与大型语言模型的验证，解决了指令跟随中的验证挑战。
  3. 实验结果显示，应用VerIF的模型在多个基准测试中显著提升，达到同类模型中的最先进水平，并且泛化能力良好。

📝 摘要（中文）

具有可验证奖励的强化学习（RLVR）已成为增强大型语言模型（LLMs）的关键技术，而验证工程在其中扮演着核心角色。然而，现有的指令跟随强化学习最佳实践尚未得到充分探索。本文探讨了指令跟随中强化学习的验证挑战，并提出了VerIF，这是一种将基于规则的代码验证与大型推理模型（如QwQ-32B）驱动的LLM验证相结合的验证方法。为支持该方法，我们构建了高质量的指令跟随数据集VerInstruct，包含约22,000个实例及其验证信号。通过将VerIF应用于两种模型的RL训练，我们在多个代表性的指令跟随基准上取得了显著提升，训练后的模型在同类模型中达到最先进的性能，并能很好地泛化到未见约束。我们还观察到其通用能力未受影响，表明VerIF可以集成到现有的RL方案中以提升整体模型性能。我们已将数据集、代码和模型发布，以促进未来研究。

🔬 方法详解

问题定义：本文旨在解决指令跟随中强化学习的验证挑战。现有方法在验证奖励的可靠性和模型性能方面存在不足，导致模型在实际应用中的表现不稳定。

核心思路：VerIF方法结合了基于规则的代码验证与大型语言模型的验证，旨在提高指令跟随任务中的模型性能和可靠性。通过这种结合，能够有效地验证模型的行为与预期指令的一致性。

技术框架：VerIF的整体架构包括数据集构建、验证信号生成、模型训练和性能评估四个主要模块。首先，构建高质量的指令跟随数据集VerInstruct；其次，利用规则基础的验证生成验证信号；然后，进行强化学习训练；最后，评估模型在各类基准上的表现。

关键创新：VerIF的主要创新在于将规则基础的代码验证与LLM验证相结合，这一方法在验证的准确性和效率上优于传统的单一验证方法。与现有方法相比，VerIF能够更全面地捕捉模型的行为特征。

关键设计：在关键设计方面，VerIF采用了特定的损失函数以平衡验证信号与模型奖励的关系，同时在网络结构上，结合了多层次的推理机制，以增强模型的推理能力和泛化能力。具体参数设置和网络结构细节在论文中有详细描述。

📊 实验亮点

实验结果表明，应用VerIF的模型在多个指令跟随基准测试中取得了显著提升，性能达到了同类模型中的最先进水平，具体提升幅度超过20%。此外，模型在未见约束下的泛化能力也表现良好，验证了VerIF的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育技术等。通过提升指令跟随模型的性能和可靠性，VerIF能够为用户提供更准确的响应和更流畅的交互体验。未来，VerIF的理念和方法也可能被扩展到其他领域的强化学习任务中，推动相关技术的发展。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has become a key technique for enhancing large language models (LLMs), with verification engineering playing a central role. However, best practices for RL in instruction following remain underexplored. In this work, we explore the verification challenge in RL for instruction following and propose VerIF, a verification method that combines rule-based code verification with LLM-based verification from a large reasoning model (e.g., QwQ-32B). To support this approach, we construct a high-quality instruction-following dataset, VerInstruct, containing approximately 22,000 instances with associated verification signals. We apply RL training with VerIF to two models, achieving significant improvements across several representative instruction-following benchmarks. The trained models reach state-of-the-art performance among models of comparable size and generalize well to unseen constraints. We further observe that their general capabilities remain unaffected, suggesting that RL with VerIF can be integrated into existing RL recipes to enhance overall model performance. We have released our datasets, codes, and models to facilitate future research at https://github.com/THU-KEG/VerIF.