Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher

📄 arXiv: 2606.25407v1 📥 PDF

作者: Xiao Han, Hao Liu, Zhimin Bao, Jile Jiao, Yue Wang, Hui Guo, Xiaofeng Mou, Yi Xu

分类: cs.CV

发布日期: 2026-06-24

💡 一句话要点

提出Teach-to-Reason框架以提升胸部X光视觉问答的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胸部X光 视觉问答 推理优化 强化学习 医学影像 比较基础监督 自我提升教师

📋 核心要点

  1. 现有的强化学习训练方法依赖于答案级奖励，难以有效提升推理链质量，且在群体级优势消失时表现不佳。
  2. 本文提出的Teach-to-Reason框架通过自我提升的教师与竞争引导的推理器，引入比较基础的监督，优化推理过程。
  3. 实验结果显示，T2R在多个CXR VQA基准上超越了强基线，验证了比较基础监督的有效性。

📝 摘要（中文）

胸部X光视觉问答（CXR VQA）不仅需要模型预测正确答案，还需提供可靠的医学推理。然而，现有基于强化学习的训练方法通常依赖于答案级奖励，这种奖励过于粗糙，难以提升推理链（CoT）的质量，并且在群体级优势消失时效果不佳。为此，本文提出了Teach-to-Reason（T2R）框架，通过自我提升的教师和竞争引导的推理器，将比较基础的监督引入CoT优化。教师通过自我竞争不断增强，推理器则针对逐渐强大的教师生成的参考进行优化。此外，本文还引入了案例级奖励设计，在信息丰富时保留原始奖励的正负分区，在原始奖励信号退化时恢复来自竞争得分的监督。实验结果表明，T2R在多个CXR开放式VQA基准上始终优于强基线，表明比较基础的监督在控制和原则性地整合时，为推理优化提供了更有效的训练信号。

🔬 方法详解

问题定义：本文旨在解决胸部X光视觉问答中推理能力不足的问题。现有方法主要依赖于答案级奖励，导致推理链质量提升困难，且在群体级优势消失时效果显著下降。

核心思路：提出Teach-to-Reason（T2R）框架，通过自我提升的教师与竞争引导的推理器，引入比较基础的监督机制，以优化推理过程。教师通过自我竞争不断增强，推理器则针对教师生成的逐渐增强的参考进行优化。

技术框架：T2R框架主要包括两个模块：自我提升的教师和竞争引导的推理器。教师负责生成参考答案，推理器则根据这些参考进行优化。整个流程通过迭代训练实现教师与推理器的相互提升。

关键创新：最重要的创新点在于引入了比较基础的监督机制，使得推理器能够在教师的引导下进行更有效的学习。这一设计与传统的基于答案的奖励机制有本质区别，能够更好地捕捉推理过程中的细微差别。

关键设计：在奖励设计上，本文采用案例级奖励机制，保留原始奖励的正负分区，并在原始信号退化时恢复来自竞争得分的监督。这种设计确保了在信息丰富的情况下，模型能够获得有效的学习信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Teach-to-Reason框架在多个CXR开放式VQA基准上表现优异，超越了多个强基线，具体提升幅度达到XX%。这一结果验证了比较基础监督在推理优化中的有效性，显示出该方法在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、智能辅助诊断系统等。通过提升胸部X光视觉问答的推理能力，能够为医生提供更可靠的决策支持，进而提高患者的诊疗效率和准确性。未来，该框架有望推广至其他医学影像领域，促进智能医疗的发展。

📄 摘要（原文）

Chest X-ray visual question answering (CXR VQA) requires models not only to predict correct answers, but also to produce reliable medical reasoning. However, existing reinforcement-learning-based training typically relies on answer-level rewards, which are often too coarse to improve chain-of-thought (CoT) quality and can become ineffective when group-level advantages collapse to zero. We propose \textbf{Teach-to-Reason (T2R)}, a framework that introduces comparison-based supervision into CoT optimization through a self-improving \emph{Teacher} and a competition-guided \emph{Reasoner}. As the Teacher is iteratively strengthened via self-competition, the Reasoner is optimized against progressively stronger Teacher-generated references. We further introduce a case-wise reward design that preserves the original reward-induced positive/negative partition when it is informative, and restores supervision from competition scores when the original reward signal degenerates. Experiments on multiple CXR open-ended VQA benchmarks show that T2R consistently outperforms strong baselines, indicating that comparison-based supervision, when integrated in a controlled and principled manner, provides a more effective training signal for reasoning optimization.