Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

📄 arXiv: 2606.12373v1 📥 PDF

作者: Hao Xiang, Qiaoyu Tang, Le Yu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Bowen Yu, Peng Wang, Hongyu Lin, Dayiheng Liu

分类: cs.CL

发布日期: 2026-06-10

💡 一句话要点

提出RACES框架以解决强化学习环境构建效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证环境 递归组合 推理能力 环境构建 大型语言模型 效率提升

📋 核心要点

  1. 现有的手动或单一构建方法在环境数量扩展时存在线性限制，影响了推理的可扩展性。
  2. RACES框架通过将可验证环境视为可组合的构建模块，支持递归组合以提高环境构建效率。
  3. 实验结果显示，RACES在六个基准测试中显著提升了模型性能，且使用50个基础环境达到了与300个独立环境相当的效果。

📝 摘要（中文）

可验证环境的强化学习（RL）已成为增强大型语言模型（LLMs）推理能力的有效方法。尽管先前研究表明环境数量的增加能提升RL性能，但现有的手动或单一构建方法存在线性扩展限制，阻碍了推理的可扩展性。本文提出了RACES（递归自动组合环境扩展框架），将可验证环境视为可组合的构建模块，能够递归组装。当一个环境的输出类型与另一个环境的输入类型匹配时，它们可以自动融合为新的可验证环境，从而实现递归组合。RACES通过300个独立环境的实现，定义了一组组合操作符（SEQUENTIAL、PARALLEL、SORT和SELECT），以诱导多样的推理模式。实验表明，在这些复合环境上进行RL训练能显著提升推理的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有强化学习环境构建方法的效率问题，现有方法在环境数量扩展时面临线性限制，影响了推理能力的提升。

核心思路：RACES框架的核心思想是将可验证环境视为可组合的构建模块，通过递归组合实现环境的高效扩展。这种设计使得不同环境之间能够自动融合，形成新的复合环境。

技术框架：RACES框架包含多个模块，首先是环境的定义与构建，其次是组合操作符的设计（如SEQUENTIAL、PARALLEL等），最后是通过这些组合生成复合环境并进行RL训练。

关键创新：RACES的主要创新在于引入了递归组合的概念，使得环境构建不再依赖于线性扩展，而是通过环境间的自动融合实现高效组合。这一方法显著提升了推理的泛化能力。

关键设计：在RACES中，组合操作符的设计至关重要，能够诱导出多样的推理模式。此外，实验中使用的300个独立环境和50个基础环境的组合策略也为环境利用效率提供了重要的技术细节。

📊 实验亮点

实验结果显示，RACES在DeepSeek-R1-Distill-Qwen-14B模型上平均提升了3.1分（从48.2提升至51.3），并在Qwen3-14B模型上从58.8提升至61.1，展现出显著的性能提升。此外，RACES仅使用50个基础环境就达到了与300个独立环境相当的效果，显示出环境利用的高效性。

🎯 应用场景

RACES框架在强化学习和大型语言模型的训练中具有广泛的应用潜力，能够有效提升模型的推理能力和泛化性能。未来，该方法可以推广到其他需要环境构建的领域，如机器人学习、自动驾驶等，具有重要的实际价值和影响。

📄 摘要（原文）

Reinforcement Learning (RL) with verifiable environments has emerged as a powerful approach for enhancing the reasoning capabilities of Large Language Models (LLMs). While prior research demonstrates that scaling environment quantity improves RL performance, existing manual or individual construction methods suffer from linear scaling limits, thereby hindering scalable reasoning generalization. This paper introduces RACES (\textbf{R}ecursive \textbf{A}utomated \textbf{C}omposition for \textbf{E}nvironment \textbf{S}caling), a framework that conceptualizes verifiable environments as composable building blocks that can be recursively assembled. The key insight is that when the codomain (output type) of one environment matches the domain (input type) of another, they can be automatically fused into a new verifiable environment, enabling recursive composition. RACES is implemented with 300 individual environments and defines a set of composition operators (\textsc{SEQUENTIAL}, \textsc{PARALLEL}, \textsc{SORT}, and \textsc{SELECT}) that induce diverse reasoning patterns. Extensive experiments show that RL training on these composite environments consistently enhances reasoning generalization. Specifically, RACES improves DeepSeek-R1-Distill-Qwen-14B by an average of 3.1 points (from 48.2 to 51.3) and boosts Qwen3-14B performance from 58.8 to 61.1 on six benchmarks, which are unseen during the construction of training environments. Moreover, RACES achieves performance comparable to training on 300 individual environments using only 50 base environments, demonstrating significant efficiency in environment utilization.