Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners
作者: Yihong Liu, Raoyuan Zhao, Hinrich Schütze, Michael A. Hedderich
分类: cs.CL
发布日期: 2026-01-06
备注: preprint
💡 一句话要点
揭示大语言推理模型多语言潜在推理能力：并非完全多语言，存在以英语为中心的倾向
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多语言推理 潜在推理 思维链 表征学习
📋 核心要点
- 现有研究表明，大型推理模型可能在生成完整推理链之前就已得出正确答案，暗示存在潜在推理，但其多语言特性尚不明确。
- 该论文通过截断推理轨迹，观察模型在不同语言下的预测形成过程，从而研究大型推理模型的多语言潜在推理能力。
- 实验结果表明，多语言潜在推理能力存在差异，资源丰富的语言表现更强，且内部表征与英语高度一致，暗示以英语为中心的推理路径。
📝 摘要（中文）
大型推理模型(LRM)在数学推理任务上表现出色，这通常归因于它们生成显式思维链(CoT)解释的能力。然而，最近的研究表明，LRM通常在完成这些文本推理步骤之前就得出了正确的答案，这表明存在潜在推理——编码在隐藏状态中的内部、非语言计算。虽然这种现象已经在英语中被探索，但其多语言行为在很大程度上仍然未知。在本文中，我们对LRM中跨11种语言的多语言潜在推理进行了系统研究。使用基于截断的策略，我们研究了当模型仅被给予部分推理轨迹时，正确答案是如何出现的，从而使我们能够测量逐步潜在预测的形成。我们的结果揭示了多语言潜在推理的明显证据，尽管不均衡：在资源丰富的语言中表现强劲，在低资源语言中表现较弱，并且在更困难的基准测试中总体上不太明显。为了理解这些差异是否反映了不同的内部机制，我们进一步进行了表征分析。尽管存在表面上的差异，但我们发现预测的内部演变在各种语言中高度一致，并且与英语大致一致——这种模式表明存在以英语为中心的潜在推理路径。
🔬 方法详解
问题定义：论文旨在研究大型推理模型（LRM）在多语言环境下的潜在推理能力。现有研究主要集中在英语上，缺乏对其他语言的系统性分析。此外，现有方法难以有效衡量和比较不同语言之间的潜在推理机制，以及理解其内部表征的异同。
核心思路：论文的核心思路是通过截断（truncation）模型生成的推理链，观察模型在不同阶段的预测结果，从而推断其潜在推理过程。通过比较不同语言在截断推理链后的预测准确率，可以评估其潜在推理能力。此外，通过表征分析，可以比较不同语言的内部表征，从而理解其推理机制的异同。
技术框架：整体框架包括以下几个步骤：1) 选择多种语言和数学推理数据集；2) 使用LRM生成推理链；3) 对推理链进行截断，保留不同比例的推理步骤；4) 使用截断后的推理链作为输入，预测最终答案；5) 分析不同语言在不同截断比例下的预测准确率；6) 进行表征分析，比较不同语言的内部表征。
关键创新：论文的关键创新在于：1) 系统性地研究了LRM在多种语言下的潜在推理能力，填补了现有研究的空白；2) 提出了基于截断的策略，有效衡量了不同语言的潜在推理能力；3) 通过表征分析，揭示了不同语言的内部推理机制，发现存在以英语为中心的推理路径。
关键设计：论文的关键设计包括：1) 选择了11种不同资源量的语言，以评估资源量对潜在推理能力的影响；2) 使用了多种数学推理数据集，以评估模型在不同任务上的泛化能力；3) 采用了不同比例的截断，以观察模型在不同阶段的预测结果；4) 使用了表征相似性分析（Representation Similarity Analysis, RSA）等方法，比较不同语言的内部表征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LRM在多语言环境下存在潜在推理能力，但不同语言之间存在差异。资源丰富的语言（如英语、德语）表现更强，而低资源语言（如斯瓦希里语、泰米尔语）表现较弱。表征分析表明，不同语言的内部表征与英语高度一致，暗示存在以英语为中心的推理路径。在更困难的基准测试中，潜在推理的现象总体上不太明显。
🎯 应用场景
该研究成果可应用于提升多语言大型语言模型的推理能力，尤其是在低资源语言上的表现。通过理解不同语言的推理机制，可以设计更有效的多语言训练策略和模型架构。此外，该研究也有助于提高模型的可解释性，更好地理解其内部工作原理。
📄 摘要（原文）
Large reasoning models (LRMs) achieve strong performance on mathematical reasoning tasks, often attributed to their capability to generate explicit chain-of-thought (CoT) explanations. However, recent work shows that LRMs often arrive at the correct answer before completing these textual reasoning steps, indicating the presence of latent reasoning -- internal, non-verbal computation encoded in hidden states. While this phenomenon has been explored in English, its multilingual behavior remains largely unknown. In this paper, we conduct a systematic investigation of multilingual latent reasoning in LRMs across 11 languages. Using a truncation-based strategy, we examine how the correct answer emerges as the model is given only partial reasoning traces, allowing us to measure stepwise latent prediction formation. Our results reveal clear evidence of multilingual latent reasoning, though unevenly: strong in resource-rich languages, weaker in low-resource ones, and broadly less observable on harder benchmarks. To understand whether these differences reflect distinct internal mechanisms, we further perform representational analyses. Despite surface-level disparities, we find that the internal evolution of predictions is highly consistent across languages and broadly aligns with English -- a pattern suggesting an English-centered latent reasoning pathway.