Chain of Faith: Policy-Internal Rewards for Reasoning Reliance

📄 arXiv: 2611.02672v1 📥 PDF

作者: Fanyu meng, Zhaodan Kong, Xin Liu

分类: cs.AI, cs.LG

发布日期: 2026-11-02

💡 一句话要点

提出四种奖励机制以增强推理依赖性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理依赖 奖励机制 链式思维 相对策略优化 模型训练 智能问答 教育应用

📋 核心要点

  1. 现有的链式思维解释方法虽然表面上合理，但对模型的最终答案影响有限，缺乏有效的推理依赖机制。
  2. 本文提出四种基于策略信号的奖励机制，旨在增强模型对生成推理的依赖性，从而提高答案的准确性和鲁棒性。
  3. 实验结果表明，某些配置显著提高了对推理编辑的依赖性，同时在准确性和改写鲁棒性方面存在不同程度的影响。

📝 摘要（中文）

链式思维（CoT）解释虽然听起来合理，但对模型最终答案的影响有限。本文研究了四种奖励机制，利用策略自身信号来鼓励对生成推理的依赖：梯度敏感性、置信度差、渐进置信度增益和推理-提示交换。将每种奖励添加到相对策略优化（GRPO）中，并在GSM8K和StrategyQA上评估两个小型指令调优模型，使用推理编辑、改写和提示。多个配置提高了对推理编辑的答案依赖性，而对准确性和改写鲁棒性的影响则有所不同。我们还观察到在高奖励权重和高依赖性情况下，答案复制现象明显，且在任务准确性较差的分解设置中依赖性较高。研究比较了推理依赖的实际目标，确认了依赖性与性能之间的权衡，并提出了四种轻量级奖励以改善推理依赖性。

🔬 方法详解

问题定义：本文旨在解决现有链式思维解释方法对模型最终答案影响有限的问题，现有方法缺乏有效的推理依赖机制，导致模型在推理过程中表现不佳。

核心思路：通过引入四种奖励机制，利用模型自身的信号来鼓励对生成推理的依赖性，从而提升模型的推理能力和答案的准确性。

技术框架：整体架构包括四种奖励机制的设计与实现，分别是梯度敏感性、置信度差、渐进置信度增益和推理-提示交换，结合相对策略优化（GRPO）进行模型训练与评估。

关键创新：本文的主要创新在于提出了四种轻量级奖励机制，这些机制能够有效提高模型对推理的依赖性，与传统方法相比，提供了更为灵活和高效的解决方案。

关键设计：在参数设置上，奖励机制的权重需要根据具体任务进行调整，损失函数设计上则考虑了推理依赖性与模型性能之间的权衡，确保模型在训练过程中能够有效学习到推理能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在某些配置下，模型对推理编辑的依赖性显著提高，且在GSM8K和StrategyQA数据集上的表现优于基线模型，具体提升幅度未知，表明所提出的奖励机制在增强推理能力方面具有良好效果。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理任务等。通过增强模型的推理依赖性，可以提高其在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) explanations can sound plausible while having little influence on a model's final answer. We study four rewards that use the policy's own signals to encourage reliance on generated reasoning: gradient sensitivity, confidence gaps, progressive confidence gains, and reasoning--prompt swaps. We add each reward to group relative policy optimization (GRPO) and evaluate two small instruction-tuned models on GSM8K and StrategyQA using reasoning edits, paraphrases, and prompt hints. Several configurations increase answer reliance to reasoning edits, while effects on accuracy and paraphrase robustness vary. We also observe answer copying at a high reward weight and high reliance in decomposition settings with poor task accuracy. The study compares practical objectives for reasoning reliance, confirms the trade-off between reliance and performance, and proposes four lightweight rewards that can improve reasoning reliance.