Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

📄 arXiv: 2606.13680v1 📥 PDF

作者: Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

分类: cs.CL, cs.AI

发布日期: 2026-06-11

💡 一句话要点

提出基于检索增强的强化微调方法以解决复杂推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 检索增强生成 强化微调 类比推理 数学推理 语言模型 推理机制

📋 核心要点

  1. 现有的基于检索的推理方法在处理复杂推理任务时表现不佳，无法有效区分语义相似与推理策略的差异。
  2. 本文提出的RA-RFT框架通过黄金相关性蒸馏训练检索器，按推理收益对上下文进行排名，进而优化语言模型的推理能力。
  3. 在多个数学推理基准测试中，RA-RFT相较于标准强化微调方法表现更优，AIME 2025平均准确率提升显著。

📝 摘要（中文）

检索增强生成（RAG）已成为将语言模型与外部知识结合的标准机制，但基于词汇或语义相似性的传统检索方法不适合复杂推理任务。本文提出检索增强强化微调（RA-RFT），通过黄金相关性蒸馏训练检索器，按预期推理收益对上下文进行排名，而非仅依赖语义重叠。然后，通过强化微调方法利用检索到的类比示例对策略模型进行微调，使模型能够在可验证的结果奖励下学习推理轨迹。实验表明，RA-RFT在数学推理基准测试中表现优异，显著提升了模型的推理能力。

🔬 方法详解

问题定义：本文旨在解决传统检索方法在复杂推理任务中无法有效区分语义相似性与推理策略的问题。现有方法往往依赖于表面相似性，导致推理效果不佳。

核心思路：RA-RFT通过黄金相关性蒸馏训练一个检索器，使其根据预期的推理收益而非语义重叠来排名上下文，从而帮助模型学习类比推理。

技术框架：该框架包括两个主要模块：首先是检索器，通过黄金相关性蒸馏进行训练；其次是策略模型，通过强化微调方法利用检索到的类比示例进行优化。

关键创新：RA-RFT的核心创新在于引入推理意识的检索机制，使得模型能够在不同问题间识别和利用相似的推理模式，这与传统方法的语义重叠检索本质上不同。

关键设计：在设计中，采用了特定的损失函数来优化检索器的性能，并通过强化学习的奖励机制来微调策略模型，确保模型能够在多样化的上下文中有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数学推理基准测试中，RA-RFT相较于标准强化微调方法表现出色，具体而言，Qwen3-1.7B和Qwen3-4B模型在AIME 2025平均@32准确率上分别提升了7.1和2.8个百分点，显示出推理意识检索的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和复杂决策支持系统。通过提升语言模型的推理能力，RA-RFT可以在需要深度理解和推理的场景中提供更为准确和可靠的支持，未来可能对人工智能的推理能力产生深远影响。

📄 摘要（原文）

Retrieval-augmented generation (RAG) has become a standard mechanism for grounding language models in external knowledge, yet conventional retrieval based on lexical or semantic similarity is poorly suited for complex reasoning tasks: a semantically similar problem may demand an entirely different solution strategy, while a superficially different problem may share the same underlying reasoning pattern. We propose Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT), a post-training framework that teaches language models to reason by analogy. RA-RFT uses gold-relevance distillation to train a retriever that ranks contexts by expected reasoning benefit rather than semantic overlap, and then fine-tunes the policy model via reinforcement fine-tuning methods with retrieved analogous demonstrations, so the model learns to leverage reasoning traces under verifiable outcome rewards. We further analyze the diversity of retrieved contexts and find that reasoning-aware retrieval surfaces complementary solution strategies that provide distinct reasoning scaffolds for individual problems. Across challenging mathematical reasoning benchmarks, RA-RFT consistently outperforms standard reinforcement fine-tuning methods. For example, it improves AIME 2025 average@32 accuracy by 7.1 and 2.8 points over GRPO for Qwen3-1.7B and Qwen3-4B respectively -- suggesting that reasoning-aware retrieval is a complementary axis of improvement and orthogonal to advances in reward design or training curricula.