H$^2$R: Hierarchical Hint-Based Reward for Mathematical Reasoning via Reinforcement Learning

📄 arXiv: 2610.39934v1 📥 PDF

作者: He Tu, Siye Li, Hongyi Wen

分类: cs.LG

发布日期: 2026-10-29

💡 一句话要点

提出层次提示奖励以解决复杂数学推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 数学推理 层次提示 大型语言模型 中间奖励 HiMath基准 推理能力提升

📋 核心要点

  1. 现有的强化学习方法在复杂的多步骤数学推理任务中缺乏有效的中间监督，限制了推理能力的提升。
  2. 本文提出的层次提示奖励框架利用数学问题的子问题结构作为中间条件信号，从而改善推理过程。
  3. 实验表明，层次提示在Qwen2.5-Math-7B模型上的准确率从30.4%提升至39.1%，使用Oracle层次提示时更是达到45.6%。

📝 摘要（中文）

基于可验证奖励的强化学习在提升大型语言模型的数学推理能力方面展现出巨大潜力。然而，现有方法在复杂的多步骤推理任务中提供的中间监督有限。为此，本文提出了层次提示奖励框架，利用数学问题的内在子问题结构作为强化学习训练中的结构化中间条件信号。与链式思维提示不同，这些层次提示作为逻辑上合理的中间里程碑，有效缩短了推理到最终答案的过程。通过引入HiMath基准，验证了该框架的有效性。实验结果表明，层次提示在不同大型语言模型中均能显著提升推理性能。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在复杂数学推理任务中缺乏有效中间监督的问题，导致推理能力受限。

核心思路：提出层次提示奖励框架，通过利用数学问题的内在子问题结构，提供结构化的中间条件信号，以改善推理过程的效率和准确性。

技术框架：整体架构包括三个主要模块：首先是问题解析模块，识别数学问题的子问题结构；其次是层次提示生成模块，基于解析结果生成中间提示；最后是强化学习训练模块，利用生成的提示进行模型训练。

关键创新：最重要的创新在于引入层次提示作为中间奖励信号，与传统的链式思维提示相比，层次提示提供了更为逻辑化的推理路径，显著提高了模型的推理能力。

关键设计：在模型训练中，采用了特定的损失函数来优化层次提示的生成，并设计了适应性调整的参数设置，以确保模型能够有效利用这些中间奖励信号。具体的网络结构和训练流程也进行了优化，以适应层次提示的引入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，层次提示在Qwen2.5-Math-7B模型上的准确率从30.4%提升至39.1%，而使用Oracle层次提示时更是达到了45.6%。这一显著提升证明了在奖励设计中引入可靠的中间检查点对于维持复杂数学推理的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学问题求解等。通过提升大型语言模型的数学推理能力，可以为学生提供更为精准的学习支持，促进个性化教育的发展。此外，该方法也可应用于其他需要复杂推理的领域，如科学研究和工程设计，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards has shown great promise in enhancing mathematical reasoning in large language models. However, existing approaches provide limited intermediate supervision for complex, multi-step reasoning tasks. To bridge this gap, we propose \textbf{Hierarchical Hint-based Reward}, a framework that leverages the intrinsic sub-question structure of mathematical problems as structured intermediate conditioning signals during RLVR training. Unlike chain-of-thought prompting, these hierarchical hints serve as logically grounded intermediate milestones that effectively reduce the reasoning horizon toward the final answer. To validate this framework, we introduce \textbf{HiMath}, a benchmark of hierarchically structured mathematical problems. Across diverse LLMs, hierarchical hints consistently improve reasoning performance even without task-specific training. When integrated into RL training via H$^2$R, they boost Qwen2.5-Math-7B accuracy on HiMath from 30.4\% to 39.1\% using hierarchical hints, and up to 45.6\% with Oracle Hierarchical Hints. This pronounced improvement demonstrates that incorporating reliable intermediate checkpoints into reward design is essential for sustaining complex mathematical reasoning.