Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

📄 arXiv: 2606.13680 📥 PDF

作者: Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出基于检索增强的强化微调方法以解决复杂推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 检索增强生成 强化微调 推理能力 类比推理 数学推理 机器学习 自然语言处理

📋 核心要点

  1. 现有的基于检索的推理方法在处理复杂推理任务时存在局限性，无法有效区分语义相似但解决策略不同的问题。
  2. 本文提出的RA-RFT框架通过黄金相关性蒸馏训练检索器，优化上下文排名，进而通过强化微调提升模型的推理能力。
  3. 在多个数学推理基准测试中，RA-RFT相较于标准强化微调方法表现更佳，AIME 2025平均准确率提升显著。

📝 摘要（中文）

检索增强生成（RAG）已成为将语言模型与外部知识结合的标准机制，但传统的基于词汇或语义相似性的检索方法不适合复杂推理任务。本文提出了检索增强强化微调（RA-RFT），该框架通过黄金相关性蒸馏训练检索器，依据预期推理收益而非语义重叠来排名上下文，并通过强化微调方法对策略模型进行微调。实验表明，RA-RFT在数学推理基准测试中表现优异，相较于标准强化微调方法，显著提升了模型的推理能力。

🔬 方法详解

问题定义：本文旨在解决传统检索方法在复杂推理任务中的不足，尤其是无法有效利用语义相似性进行推理的局限性。

核心思路：RA-RFT框架通过黄金相关性蒸馏训练检索器，依据预期推理收益进行上下文排名，从而使模型能够通过类比推理来学习解决问题的策略。

技术框架：该框架主要包括两个阶段：首先是训练检索器以优化上下文的选择，其次是通过强化微调方法对策略模型进行微调，利用检索到的类比示例进行学习。

关键创新：RA-RFT的核心创新在于引入了推理意识的检索机制，使得模型能够在不同问题间找到潜在的类比关系，从而提升推理能力。

关键设计：在技术细节上，采用了黄金相关性蒸馏作为损失函数，优化检索器的上下文排名，同时强化微调过程中引入了可验证的结果奖励机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数学推理基准测试中，RA-RFT相较于标准强化微调方法表现出色，AIME 2025平均准确率分别提升了7.1和2.8个百分点，显示出推理意识检索作为改进的补充方向的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和复杂决策支持系统等。通过提升模型的推理能力，RA-RFT可以帮助用户更好地理解和解决复杂问题，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Retrieval-augmented generation (RAG) has become a standard mechanism for grounding language models in external knowledge, yet conventional retrieval based on lexical or semantic similarity is poorly suited for complex reasoning tasks: a semantically similar problem may demand an entirely different solution strategy, while a superficially different problem may share the same underlying reasoning pattern. We propose Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT), a post-training framework that teaches language models to reason by analogy. RA-RFT uses gold-relevance distillation to train a retriever that ranks contexts by expected reasoning benefit rather than semantic overlap, and then fine-tunes the policy model via reinforcement fine-tuning methods with retrieved analogous demonstrations, so the model learns to leverage reasoning traces under verifiable outcome rewards. We further analyze the diversity of retrieved contexts and find that reasoning-aware retrieval surfaces complementary solution strategies that provide distinct reasoning scaffolds for individual problems. Across challenging mathematical reasoning benchmarks, RA-RFT consistently outperforms standard reinforcement fine-tuning methods. For example, it improves AIME 2025 average@32 accuracy by 7.1 and 2.8 points over GRPO for Qwen3-1.7B and Qwen3-4B respectively -- suggesting that reasoning-aware retrieval is a complementary axis of improvement and orthogonal to advances in reward design or training curricula.