Enhancing Low-Resource Language Reasoning via High-Resource Language Feature Transfer
作者: Minju Song, Hyeon Hwang, Junhyun Lee, Jaewoo Kang
分类: cs.CL, cs.AI
发布日期: 2026-08-31
备注: Accepted to EMNLP 2026 Findings
💡 一句话要点
通过高资源语言特征转移提升低资源语言推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 低资源语言 高资源语言 特征转移 推理能力 稀疏自编码器 跨语言处理 自然语言处理
📋 核心要点
- 现有方法在处理低资源语言时，常常面临推理能力不足的问题，导致性能差异显著。
- 本文提出了一种机制干预框架，通过转移高资源语言的稀疏特征来提升低资源语言的推理能力。
- 实验结果表明，注入特征后，低资源语言的推理性能显著提升，验证了特征转移的有效性。
📝 摘要（中文）
大型语言模型在不同语言间的性能差异显著，尤其在解决语义等价任务时。现有分析通常将这种现象视为由于预训练数据、分词或基准覆盖的差异所导致的观察性差异。本文提出一种机制干预框架，旨在识别和转移跨语言的任务相关稀疏潜在特征。通过稀疏自编码器，我们从高资源语言的成功推理中提取特征，并在低资源语言推理中注入这些特征，以测试它们在推理差距中的功能性作用。该框架重新定义了一些跨语言推理差距为机制引发失败，而非能力缺失，并提供了一条可因果检验的特征介导转移路径。
🔬 方法详解
问题定义：本文关注低资源语言在推理任务中的性能不足，现有方法未能有效利用高资源语言的潜在特征，导致推理能力差异。
核心思路：通过引入机制干预框架，识别并转移高资源语言中的任务相关稀疏特征，以增强低资源语言的推理能力。
技术框架：整体流程包括特征提取、特征过滤和特征注入三个主要模块。首先，使用稀疏自编码器提取高资源语言的成功推理特征；其次，过滤掉源语言和通用生成特征；最后，将选定特征注入低资源语言的推理过程中。
关键创新：本研究的创新在于将跨语言推理差距视为机制引发的失败，而非能力缺失，提供了一种无需翻译或微调的特征转移方法。
关键设计：在特征提取过程中，采用稀疏自编码器对残差流激活进行处理，确保提取的特征与任务相关，并设计了特征注入的方向，以增强低资源语言的推理效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，注入高资源语言特征后，低资源语言的推理性能提升显著，部分恢复了目标语言的推理能力，超越了随机和非任务控制的基线。这一发现验证了特征转移的有效性，为跨语言推理提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括多语言自然语言处理、机器翻译和跨语言信息检索等。通过提升低资源语言的推理能力，可以更好地服务于全球用户，促进语言平等和信息获取的公平性。未来，该方法可能在多语言模型的开发中发挥重要作用，推动跨语言理解的进步。
📄 摘要（原文）
Large language models exhibit substantial performance variation across languages, even when solving semantically equivalent tasks. Existing analyses often treat this phenomenon as an observational disparity caused by differences in pretraining data, tokenization, or benchmark coverage. We study a complementary hypothesis: high-resource languages (HRLs) may more reliably elicit latent computations useful for task-specific (i.e. mathematical) reasoning, while lower-resource languages (LRLs) may under-activate those computations despite expressing the same task. To test this hypothesis, we introduce a mechanistic intervention framework for identifying and transferring task-relevant sparse latent features across languages. Using sparse autoencoders over residual-stream activations, we isolate features enriched in successful HRL task-specific reasoning while filtering out source-language and generic-generation features. We then construct steering directions from these features and inject them during LRL inference. The resulting interventions test whether the selected features are functionally involved in the observed reasoning gap: suppressing them should impair source-language reasoning, while activating them should partially recover target-language reasoning beyond random and non-task controls. Our framework reframes some cross-lingual reasoning gaps as failures of mechanism elicitation rather than capability absence, and offers a causally testable route to feature-mediated transfer without translation, fine-tuning, or changing the user-facing language.