MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum

📄 arXiv: 2608.25768v1 📥 PDF

作者: Furkan Yilmaz, Habibe Aleyna Tasdemir, Muhammed Faruk Gozay

分类: cs.CL, cs.AI

发布日期: 2026-08-26

备注: 32 pages, 4 figures, 18 tables. Model weights, tokenizer, embedding model and evaluation code: https://huggingface.co/moganai

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出MoganBert-TR以提升土耳其语编码模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 土耳其语处理 语言模型 课程学习 嵌入模型 信息检索 自然语言处理

📋 核心要点

  1. 现有的土耳其语编码模型在预训练目标上仍然固定为掩码语言建模，未能充分利用语言特性。
  2. 论文提出MoganBert-TR，通过CLM到MLM的课程学习策略，从零开始训练土耳其语编码模型，以提升模型性能。
  3. MoganBert-TR在多个基准测试中表现优异，尤其在TrGLUE和TabiBench上取得了领先的成绩，显示出显著的性能提升。

📝 摘要（中文）

土耳其语编码模型在采用现代架构的同时，预训练目标仍固定为掩码语言建模。本文介绍了MoganBert-TR，这是一个从零开始训练的149M参数土耳其语编码基础模型，使用语言特定过滤的语料库进行训练，并衍生出一个嵌入模型（MoganBert-Embed）。MoganBert-TR在237.3B个标记上进行训练，采用了两阶段的CLM到MLM课程：首先进行因果语言建模，然后进行掩码语言建模。在受控消融实验中，该设计在土耳其MS MARCO检索任务上比纯MLM提高了2.7-3.7倍。MoganBert-TR在TrGLUE上取得78.41的成绩，领先于其他土耳其ModernBERT模型。

🔬 方法详解

问题定义：现有的土耳其语编码模型在预训练过程中未能充分利用语言特性，导致性能受限。

核心思路：论文提出MoganBert-TR，通过两阶段的CLM到MLM课程学习策略，首先进行因果语言建模，再进行掩码语言建模，以提高模型的学习效果和性能。

技术框架：MoganBert-TR的训练流程包括两个主要阶段：初始的因果语言建模阶段和后续的掩码语言建模阶段，且在稳定的WSD调度中进行过渡。

关键创新：MoganBert-TR的设计在于其课程学习策略，显著优于传统的纯MLM方法，尤其在嵌入几何方面表现出更好的方差吸收能力。

关键设计：模型参数设置为149M，训练数据量达到237.3B个标记，采用了长上下文扩展和学习率衰减的分支设计，最终在1024上下文下进行衰减以优化性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

MoganBert-TR在TrGLUE上取得78.41的分数，领先于其他土耳其ModernBERT模型，并在TabiBench上表现出色，特别是在代码检索任务上比TabiBERT高出3.62分。此外，MoganBert-Embed在MTEB(Turkish)的整体平均中排名第一，显示出其在嵌入模型方面的优势。

🎯 应用场景

MoganBert-TR的研究成果可广泛应用于自然语言处理领域，特别是在土耳其语的文本理解、信息检索和对话系统等任务中。其优越的性能不仅提升了土耳其语模型的应用价值，也为其他语言模型的训练提供了新的思路和方法。未来，随着更多语言模型的开发，类似的课程学习策略可能会被广泛采用。

📄 摘要（原文）

Turkish encoder models have adopted modern architectures while leaving the pretraining objective fixed at masked language modelling. This paper introduces MoganBert-TR, a 149M-parameter Turkish encoder foundation model trained from scratch on a language-specifically filtered corpus, together with an embedding model derived from it (MoganBert-Embed). MoganBert-TR is trained over 237.3B tokens with a two-stage CLM-to-MLM curriculum: causal language modelling first, masked language modelling for the remainder, with the transition made inside the stable phase of a WSD schedule. In a controlled ablation under an equal step budget, this design outperforms pure MLM by 2.7-3.7x on Turkish MS MARCO retrieval; the measured mechanism is embedding geometry, where a single direction absorbs 28.1% of the variance under pure MLM against 11.9% under the curriculum. Long-context extension and learning-rate decay are then split into two branches after a shared prefix: running the final portion of decay at 1024 context improves the TrGLUE average by 0.49 +/- 0.26 points across five paired seeds (p = 0.013) and beats a model-soup alternative by 0.75 points at ~4.3% additional cost. MoganBert-TR attains 78.41 on TrGLUE, the best among the Turkish ModernBERT models compared, and 77.73 on TabiBench, where it leads two of the eight categories with the largest margin on code retrieval (+3.62 points over TabiBERT). MoganBert-Embed, produced through teacher distillation and multi-signal contrastive fine-tuning, ranks first among student models on the MTEB(Turkish) overall average with 68.30 and reaches 99.5% of its 7.57B-parameter teacher's score with a 51x smaller backbone. The accompanying 50,048-token tokenizer outperforms all compared Turkish tokenizers on compression and fertility across two independent test sets. Weights, tokenizer, embedding model and evaluation code: https://huggingface.co/moganai