Riazi-8B: An Urdu Large Language Model for Mathematical Reasoning

📄 arXiv: 2606.25568v1 📥 PDF

作者: Azher Ali, Ibtsam Haider, Raja Khurram Shahzad, Seemab Latif, Mehwish Fatima

分类: cs.CL

发布日期: 2026-06-24

💡 一句话要点

提出Riazi-8B以解决乌尔都语数学推理能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乌尔都语 数学推理 大型语言模型 预训练 微调 低资源语言 自然语言处理

📋 核心要点

  1. 现有的数学推理模型在低资源语言如乌尔都语中表现不佳，缺乏适应性模型和推理数据集。
  2. Riazi-8B通过在乌尔都语维基百科上继续预训练，并在乌尔都语Chain-of-Thought数据上进行微调，解决了这一问题。
  3. 实验结果显示，Riazi-8B在多个评估指标上均优于现有的乌尔都语模型，提升了推理能力和生成质量。

📝 摘要（中文）

近年来的大型语言模型（LLMs）在数学推理方面表现出色，但现有的进展主要依赖于英语训练资源和基准测试。这导致在低资源语言如乌尔都语中，推理性能显著下降。为了解决这一问题，本文提出了Riazi-8B，一个专为乌尔都语数学推理开发的模型。该模型通过在乌尔都语维基百科上进行持续预训练，并在GSM8K数据集上进行监督微调，填补了乌尔都语在多步数学问题解决方面的资源缺口。实验结果表明，Riazi-8B在MGSM-Urdu数据集上相较于现有的乌尔都语指令调优模型，显示出答案正确性、推理质量、响应完整性和乌尔都语生成能力的一致提升。

🔬 方法详解

问题定义：本文旨在解决乌尔都语在数学推理方面的不足，现有模型和数据集无法支持多步推理的需求。

核心思路：通过在乌尔都语维基百科上进行持续的预训练，并结合监督微调，Riazi-8B能够有效提升乌尔都语的数学推理能力。

技术框架：模型的开发分为两个主要阶段：第一阶段是对乌尔都语维基百科的预训练，第二阶段是使用GSM8K数据集进行的监督微调。

关键创新：Riazi-8B的创新在于将乌尔都语适应与推理导向的微调结合，显著提升了低资源语言的数学推理能力。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，以确保模型能够有效学习乌尔都语的数学推理特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Riazi-8B在MGSM-Urdu数据集上的实验结果显示，答案正确性提升了XX%，推理质量和响应完整性均有显著改善，表明该模型在乌尔都语数学推理任务中具有优越的性能。

🎯 应用场景

Riazi-8B的研究成果可广泛应用于教育、智能辅导系统和语言处理等领域，帮助乌尔都语用户更好地进行数学学习和问题解决。未来，该模型的技术可以推广至其他低资源语言，促进全球范围内的数学教育公平。

📄 摘要（原文）

Recent LLMs demonstrate strong mathematical reasoning capabilities, but existing gains rely heavily on English-centric training resources and benchmarks. As a result, reasoning performance degrades substantially in low-resource languages such as Urdu, where reasoning-oriented datasets and adapted models remain scarce. Urdu lacks both reasoning-oriented resources and models adapted for multi-step mathematical problem solving, limiting the applicability of recent progress to Urdu-speaking users. We address this gap through Riazi-8B, an Urdu mathematical reasoning model developed through a two-step adaptation process comprising continued pre-training on Urdu Wikipedia and supervised fine-tuning on Urdu Chain-of-Thought data derived from GSM8K. We evaluate Riazi-8B on MGSM-Urdu against existing Urdu instruction-tuned models. Our results show consistent improvements in answer correctness, reasoning quality, response completeness, and Urdu generation. Our findings demonstrate that combining Urdu language adaptation with reasoning-focused fine-tuning is an effective strategy for extending mathematical reasoning capabilities to low-resource languages.