Dango: A Strictly L1-Only Large Language Model for Studying Second Language Acquisition

📄 arXiv: 2606.19170v1 📥 PDF

作者: Shiho Matta, Yin Jou Huang, Fei Cheng, Takashi Kodama, Hirokazu Kiyomaru, Yugo Murawaki

分类: cs.CL

发布日期: 2026-06-17

备注: 8 pages main text, 20 pages total including references and appendices

💡 一句话要点

提出Dango模型以研究第二语言习得中的L1到L2转移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 第二语言习得 语言模型 L1到L2转移 过滤方法 微调技术 教育技术 计算语言学

📋 核心要点

  1. 现有的语言模型在研究第二语言习得时，通常依赖较小或非解码器模型，限制了生成开放文本的能力。
  2. 论文提出了一种过滤方法，旨在减少L1习得过程中对L2的过早暴露，同时保持适度的现实性。
  3. 实验结果表明，Dango模型在L2生产模式上表现出类人特征，超越了未过滤和标准多语种基线，显示出显著提升。

📝 摘要（中文）

我们介绍了Dango，一个拥有18亿参数的大型语言模型，旨在控制研究L1到L2（从日语到英语）的转移在第二语言习得中的作用。以往的研究多依赖较小或非解码器模型，限制了生成开放文本的能力，降低了作为实际L2模拟器的适用性。我们识别到在扩大模型规模时的一个关键挑战：L1习得的“单语”预训练语料中存在L2污染。为此，我们提出了一种过滤方法，以减少对英语的过早暴露，同时保持现实的、最小的暴露。随后，我们在LLM生成的L2学习课程上对模型进行了微调，以模拟L2习得过程。评估结果确认Dango发展出类人L2生产模式，超越了未过滤和标准多语种基线。我们发布了模型、数据和代码，以促进可重复的计算语言习得研究和面向学习者的应用。

🔬 方法详解

问题定义：本论文旨在解决在第二语言习得研究中，现有语言模型由于规模小或结构不适合，导致生成能力不足的问题。尤其是L1习得过程中，L2污染影响了模型的有效性。

核心思路：论文的核心思路是通过设计一种过滤机制，减少模型在预训练阶段对L2的过早暴露，从而更真实地模拟L1到L2的转移过程。该设计旨在保留必要的语言接触，同时避免过度干扰。

技术框架：整体架构包括预训练和微调两个主要阶段。在预训练阶段，采用过滤方法处理语料库，以确保L1习得的纯净性；在微调阶段，使用LLM生成的L2学习课程进行训练，以模拟真实的L2习得过程。

关键创新：最重要的技术创新在于提出了一种有效的过滤方法，能够在保持语言学习真实性的同时，减少L2对L1习得的干扰。这一方法与传统的多语种模型有本质区别，后者往往无法有效控制语言接触。

关键设计：在模型设计中，采用了18亿参数的解码器结构，结合特定的损失函数和优化策略，以确保在微调阶段能够有效捕捉L2习得的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dango模型在L2生产模式上表现出类人特征，超越了未过滤和标准多语种基线，具体提升幅度达到显著水平，验证了其在第二语言习得研究中的有效性。

🎯 应用场景

该研究的潜在应用领域包括语言学习软件、教育技术和语言习得研究。Dango模型能够为学习者提供更真实的语言输入，帮助他们在L2习得过程中更有效地进行语言转移，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce Dango, a 1.8B-parameter large language model designed for controlled studies of L1-to-L2 (Japanese-to-English) transfer in second language acquisition (SLA). While previous studies have explored SLA in language models, they have predominantly relied on smaller or non-decoder models, limiting their ability to generate open-ended text and reducing their suitability as practical L2 simulators. We identify a key challenge when scaling models to this size: L2 contamination within the "monolingual" pretraining corpus used for L1 acquisition. To address this, we propose a filtering method to reduce premature exposure to English while preserving realistic, minimal exposure. We then fine-tune the model on LLM-generated L2-learning lessons to simulate the L2 acquisition process. Our evaluations confirm that Dango develops human-like L2 production patterns, outperforming both unfiltered and standard multilingual baselines. We release the model, data, and code to facilitate reproducible computational SLA research and learner-facing applications.