ReSI-Math: Exploring Recoverable Capability Frontiers for Efficient Reasoning Improvement
作者: Yao Cui, Zhen Yang, Yuandong Wang, Yangfu Zhu, Tianyu Wo, Zhenzhou Shao
分类: cs.CL, cs.AI
发布日期: 2026-11-03
备注: 20 pages, 7 figures, 14 tables. Project page: https://cnu-bot-group.github.io/ReSI-Math/
💡 一句话要点
提出ReSI-Math框架以探索可恢复能力边界提升推理效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 数学推理 可恢复能力 轨迹搜索 自我判断引导 数据高效监督 进化搜索 模型能力提升
📋 核心要点
- 现有的强化学习方法在处理数学推理时，未能充分利用模型的潜在能力，导致解决问题的失败。
- ReSI-Math框架通过探索模型的轨迹，识别可恢复的推理失败，并将其转化为有效的RLVR监督，提升模型能力。
- 实验结果表明，经过三轮顺序RLVR后，MATH500和WE-MATH的平均分从78.71提升至80.16，显示出显著的性能提升。
📝 摘要（中文）
强化学习与可验证奖励（RLVR）已成为提升大型语言模型数学推理能力的有效方法。然而，当模型未能解决问题时，是否真的缺乏基础能力仍是一个基本问题。本研究揭示，直接失败并不一定意味着无能。一些推理失败可以通过探索模型自身的轨迹来恢复，形成可恢复能力边界：一个依赖策略的区域，在该区域内，解决方案无法通过直接解码可靠生成，但可以通过轨迹级搜索引出。基于这一观察，我们提出了ReSI-Math框架，探索可恢复能力边界，并将恢复的能力转化为数据高效的RLVR监督。ReSI-Math使用自我判断引导的进化搜索，在固定策略下识别可恢复失败，并在策略演变时自适应选择边界问题进行顺序RLVR。
🔬 方法详解
问题定义：本论文旨在解决当前强化学习方法在数学推理中未能充分挖掘模型潜在能力的问题。现有方法在面对推理失败时，往往直接认为模型缺乏能力，而忽视了通过探索轨迹可能恢复的能力。
核心思路：论文的核心思路是通过探索模型的轨迹，识别并恢复推理失败，从而形成可恢复能力边界。这种设计能够有效利用模型的潜在能力，提升推理效率。
技术框架：ReSI-Math框架包括自我判断引导的进化搜索模块，该模块在固定策略下识别可恢复失败，并在策略演变过程中自适应选择边界问题进行顺序RLVR。整体流程分为识别、选择和优化三个主要阶段。
关键创新：最重要的技术创新点在于提出了可恢复能力边界的概念，并通过轨迹级搜索实现了对推理失败的恢复。这一方法与现有的直接解码方法本质上不同，后者未能考虑模型的潜在轨迹信息。
关键设计：在设计中，采用了自我判断引导的进化搜索算法，设置了固定的策略进行可恢复失败的识别，并通过动态选择边界问题来优化RLVR过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过三轮顺序RLVR后，MATH500和WE-MATH的平均分从78.71提升至80.16，提升幅度达到1.45。此外，在Qwen3-VL-8B模型上，正确-错误轨迹交叉产生了272个经过验证的正确后代，成功率为43.8%。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学推理工具。通过提升模型的推理能力，ReSI-Math可以帮助学生更好地理解数学概念，并为教育工作者提供更有效的教学工具。未来，该方法还可能扩展到其他领域的推理任务中，具有广泛的实际价值。
📄 摘要（原文）
Reinforcement learning with verifiable rewards (RLVR) has become an effective approach for improving mathematical reasoning in large language models. However, a fundamental question remains: when a model fails to solve a problem, does it truly lack the underlying capability? In this work, we reveal that direct failure does not necessarily imply inability. Some reasoning failures can be recovered by exploring the model's own trajectories, exposing a recoverable capability frontier: a policy-dependent region where solutions are not reliably generated through direct decoding but can be elicited through trajectory-level search. Based on this observation, we introduce ReSI-Math, a framework that explores recoverable capability frontiers and converts recovered capabilities into data-efficient RLVR supervision. ReSI-Math uses Self-Judge-guided evolutionary search to identify recoverable failures under a fixed policy and adaptively selects frontier problems for sequential RLVR as the policy evolves. On Qwen3-VL-8B, correct-incorrect trajectory crossover produces 272 verifier-confirmed correct offspring from 621 attempts (43.8%). After three sequential one-shot RLVR stages, the MATH500 and WE-MATH average improves from 78.71 to 80.16. Under matched single-problem RLVR, random selection reaches only 53.31 versus 54.16 for frontier-guided Q1.