Towards Fundamental Language Models: Does Linguistic Competence Scale with Model Size?

📄 arXiv: 2509.02225v1 📥 PDF

作者: Jaime Collado-Montañez, L. Alfonso Ureña-López, Arturo Montejo-Ráez

分类: cs.CL

发布日期: 2025-09-02

备注: 13 pages, 2 figures

💡 一句话要点

提出基础语言模型范式，探索语言能力与模型规模的解耦策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础语言模型 语言能力 事实知识 模型规模 外部知识库

📋 核心要点

  1. 大型语言模型虽然强大，但其幻觉、偏见等问题限制了应用，根本原因在于语言能力与知识记忆的耦合。
  2. 论文提出基础语言模型（FLM）范式，通过小型语言模型与外部知识库结合，解耦语言能力与知识记忆。
  3. 实验表明，模型规模的增长更多地提升了内部知识记忆，而非核心语言能力，支持了FLM范式的有效性。

📝 摘要（中文）

大型语言模型（LLM）展现了卓越的语言能力，但也存在幻觉、偏见、隐私问题和高计算成本等局限。这些问题主要源于语言能力和事实记忆在单一模型中的结合。本文提出并实证支持了基础语言模型（FLM）范式，该范式提倡使用更小、具有语言能力的模型，并将事实检索卸载到外部工具。我们评估了参数量从1.35亿到320亿的模型，涵盖语言能力、外部事实知识和内部事实知识三个维度。研究结果表明，虽然语言能力和事实知识都随规模增长，但内部事实知识的增长速度明显更快，这表明模型规模与记忆的关联比与核心语言能力的关联更紧密。这些结果支持一种模块化的语言建模方法，其中紧凑、精通语言的模型作为工具增强系统的基础。FLM范式为更高效、可解释和可持续的自然语言处理解决方案提供了一条途径。

🔬 方法详解

问题定义：大型语言模型将语言能力和事实知识混合在一个模型中，导致模型体积庞大，计算成本高昂，并且容易出现幻觉和偏见。现有的方法难以区分模型学习到的语言能力和记忆的事实知识，也难以有效地利用外部知识。

核心思路：论文的核心思路是将语言能力和事实知识解耦。通过构建一个小型但具有良好语言能力的基础语言模型（FLM），并将其与外部知识库相结合，实现更高效、可解释和可持续的自然语言处理。

技术框架：该研究主要通过实验分析不同规模的模型在语言能力、内部事实知识和外部事实知识上的表现。具体来说，评估了从135M到32B参数的模型，并设计了相应的评测指标来衡量这三个维度的能力。外部知识的获取通过与外部工具交互实现，但论文重点在于分析模型本身的特性，而非具体工具的集成。

关键创新：最重要的创新点在于提出了FLM范式，即分离语言能力和事实知识，使用小型语言模型作为基础，并通过外部工具来获取知识。这种模块化的方法可以降低模型规模，提高可解释性，并减少幻觉。

关键设计：论文的关键设计在于实验评估方案，包括选择合适的模型规模范围、设计合理的评测指标（例如，针对语言能力的困惑度、针对事实知识的准确率），以及区分内部和外部事实知识。没有涉及具体的网络结构或损失函数的设计，重点在于分析现有模型的特性。

📊 实验亮点

实验结果表明，虽然语言能力和事实知识都随模型规模增长，但内部事实知识的增长速度明显快于语言能力。这意味着模型规模的增长更多地用于记忆事实，而非提升语言理解能力。该发现支持了FLM范式的有效性，即使用小型语言模型与外部知识库结合，可以更有效地利用计算资源，并获得更好的性能。

🎯 应用场景

该研究成果可应用于构建更高效、可信赖的自然语言处理系统。例如，在智能客服、机器翻译、文本摘要等领域，可以使用小型FLM模型处理语言理解和生成任务，同时利用外部知识库提供准确的事实信息，从而降低计算成本，提高响应速度，并减少错误信息的产生。此外，该方法还有助于提高模型的可解释性和可控性。

📄 摘要（原文）

Large Language Models offer impressive language capabilities but suffer from well-known limitations, including hallucinations, biases, privacy concerns, and high computational costs. These issues are largely driven by the combination of linguistic competence and factual memorization within a single monolithic model. This paper introduces and empirically supports the Fundamental Language Model (FLM) paradigm, which advocates for smaller, linguistically competent models that offload factual retrieval to external tools. We evaluate models ranging from 135M to 32B parameters across three dimensions: linguistic competence, external factual knowledge, and internal factual knowledge. Our findings reveal that while both linguistic competence and factual knowledge improve with scale, internal factual knowledge grows significantly faster, suggesting that model size is more closely tied to memorization than to core language ability. These results support a modular approach to language modeling, where compact, linguistically proficient models serve as the foundation for tool-augmented systems. The FLM paradigm offers a path toward more efficient, interpretable, and sustainable NLP solutions.