RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
作者: Xinye Wang, Junxiao Liu, Shujian Huang
分类: cs.CL
发布日期: 2026-08-06
备注: 16 pages. Under review
🔗 代码/项目: GITHUB
💡 一句话要点
提出RP-OPSD以解决多语言推理迁移问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言推理 自蒸馏 推理迁移 深度学习 语言模型
📋 核心要点
- 现有的在线自蒸馏方法未能有效优先考虑对跨语言推理迁移至关重要的推理信号，导致性能不足。
- RP-OPSD通过集中在推理过程中的关键决策（推理枢轴）上，优化了自蒸馏过程，从而提高了多语言推理能力。
- 实验结果显示，RP-OPSD在17种语言的数学推理基准上表现优于现有的多语言推理基线，提升显著。
📝 摘要（中文）
多语言推理迁移对于扩展大型语言模型（LLMs）在低资源语言上的推理能力至关重要。现有的在线自蒸馏（OPSD）及其变体虽然提供了密集的标记级监督，但未能明确优先考虑对跨语言迁移至关重要的推理信号。本文提出RP-OPSD，即推理枢轴引导的在线自蒸馏，集中在推理过程中的关键决策上，以引导特权蒸馏。实验表明，该方法在涵盖17种语言和多种难度级别的数学推理基准上超越了强大的多语言推理基线和OPSD变体。
🔬 方法详解
问题定义：本文旨在解决多语言推理迁移中的推理信号优先级不足的问题。现有的OPSD方法未能有效聚焦于对推理过程至关重要的决策，导致迁移效果不佳。
核心思路：RP-OPSD通过识别推理过程中的关键决策（推理枢轴），集中特权蒸馏于这些决策上，以增强跨语言推理的有效性。此设计旨在提升模型在低资源语言上的推理能力。
技术框架：RP-OPSD的整体架构包括两个主要阶段：首先，通过与英语参考解的匹配教师视图之间的分布差异来引导蒸馏；其次，专注于推理控制和问题条件状态更新的标记，减少对表面实现的关注。
关键创新：RP-OPSD的主要创新在于其推理枢轴引导的蒸馏策略，显著区别于传统的OPSD方法，后者未能有效利用推理过程中的关键决策信息。
关键设计：在技术细节上，RP-OPSD采用了特定的损失函数来优化推理枢轴的蒸馏过程，并通过调整蒸馏权重来强调推理控制和状态更新标记的学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RP-OPSD在17种语言的数学推理基准上超越了多个强大的多语言推理基线，提升幅度显著，尤其在推理控制和状态更新标记的学习上表现突出，显示出其在多语言推理迁移中的有效性。
🎯 应用场景
该研究的潜在应用领域包括多语言教育、跨语言信息检索和多语言对话系统等。通过提升低资源语言的推理能力，RP-OPSD可以帮助实现更广泛的语言理解和交流，具有重要的社会价值和实际影响。
📄 摘要（原文）
Multilingual reasoning transfer is crucial for extending reasoning capabilities of large language models (LLMs) beyond high-resource languages. On-policy self-distillation (OPSD) and its variants have emerged as a promising paradigm, providing dense token-level supervision on student-generated rollouts, yet their objectives do not explicitly prioritize reasoning signals most critical to cross-lingual transfer. We characterize that target-language reasoning comprises the generation of both surface text and reasoning pivots, which are decisions that advance or redirect the reasoning process and shape subsequent inference. This motivates concentrating privileged distillation around such pivots. We therefore propose RP-OPSD, Reasoning-Pivot-guided On-Policy Self-Distillation, using the distributional shift between matched teacher views with and without an English reference solution as an operational proxy to guide privileged distillation and reference anchoring. Experiments on mathematical reasoning benchmarks covering 17 languages and multiple difficulty levels show that our method outperforms strong multilingual reasoning baselines and OPSD variants. Further analysis reveals that RP-OPSD concentrates privileged distillation on reasoning-control and problem-condistioned state-update tokens, while downweighting it for tokens that mainly support surface realization. Our code is available at https://github.com/NJUNLP/RP-OPSD.