Towards Fundamental Language Models: Does Linguistic Competence Scale with Model Size?

📄 arXiv: 2509.02225v1 📥 PDF

作者: Jaime Collado-Montañez, L. Alfonso Ureña-López, Arturo Montejo-Ráez

分类: cs.CL

发布日期: 2025-09-02

备注: 13 pages, 2 figures

💡 一句话要点

提出基础语言模型范式，探索语言能力与模型规模的解耦策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 基础语言模型 知识解耦 外部知识库 语言能力 事实知识

📋 核心要点

  1. 大型语言模型虽然强大，但存在幻觉和高计算成本等问题，源于语言能力和知识记忆的耦合。
  2. 论文提出基础语言模型（FLM）范式，通过小型语言模型与外部知识库结合，解耦语言能力和知识记忆。
  3. 实验表明，模型规模与内部知识记忆关联更强，支持FLM范式，为高效NLP提供新思路。

📝 摘要（中文）

大型语言模型（LLM）展现了卓越的语言能力，但也存在幻觉、偏见、隐私问题和高计算成本等局限。这些问题主要源于语言能力和事实记忆的混合。本文提出并实证支持了基础语言模型（FLM）范式，倡导构建更小、具备语言能力的模型，并将事实检索卸载到外部工具。我们评估了参数量从1.35亿到320亿的模型，涵盖语言能力、外部事实知识和内部事实知识三个维度。结果表明，虽然语言能力和事实知识都随规模增长，但内部事实知识的增长速度明显更快，表明模型规模与记忆而非核心语言能力更密切相关。这些结果支持一种模块化的语言建模方法，其中紧凑、精通语言的模型作为工具增强系统的基础。FLM范式为更高效、可解释和可持续的自然语言处理解决方案提供了途径。

🔬 方法详解

问题定义：大型语言模型将语言能力和事实知识耦合在一起，导致模型规模庞大，计算成本高昂，并且容易出现幻觉等问题。现有的方法难以区分模型学习到的语言能力和记忆的事实知识，也难以有效利用外部知识。

核心思路：论文的核心思路是将语言能力和事实知识解耦。通过构建一个小型但语言能力强的基础语言模型（FLM），并将其与外部知识库结合，实现知识的动态检索和更新。这样可以降低模型规模，提高效率，并减少幻觉的产生。

技术框架：整体框架包含一个基础语言模型（FLM）和一个外部知识库。FLM负责理解输入文本，生成查询，并与外部知识库交互，检索相关的事实信息。然后，FLM将检索到的信息整合到生成文本中。评估过程包括对FLM的语言能力、内部事实知识和外部事实知识三个维度进行评估。

关键创新：最重要的创新点在于提出了FLM范式，强调语言能力和知识记忆的解耦。与传统的单体模型相比，FLM更加模块化，易于扩展和维护。此外，FLM可以更好地利用外部知识，提高生成文本的质量和准确性。

关键设计：论文评估了不同规模（135M到32B参数）的Transformer模型作为FLM。评估指标包括语言能力（使用困惑度评估）、内部事实知识（使用LAMA基准评估）和外部事实知识（通过与外部知识库交互评估）。没有明确提及损失函数或网络结构的特殊设计，重点在于不同规模模型在不同能力上的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，虽然语言能力和事实知识都随模型规模增长，但内部事实知识的增长速度明显更快。这表明模型规模与记忆而非核心语言能力更密切相关，支持了FLM范式。该研究为构建更高效、可解释的自然语言处理系统提供了新的思路。

🎯 应用场景

该研究成果可应用于智能问答系统、对话生成、文本摘要等领域。通过将语言模型与外部知识库结合，可以构建更加智能、可靠的自然语言处理系统。未来，该方法有望降低大型语言模型的计算成本，并提高其可解释性和可持续性。

📄 摘要（原文）

Large Language Models offer impressive language capabilities but suffer from well-known limitations, including hallucinations, biases, privacy concerns, and high computational costs. These issues are largely driven by the combination of linguistic competence and factual memorization within a single monolithic model. This paper introduces and empirically supports the Fundamental Language Model (FLM) paradigm, which advocates for smaller, linguistically competent models that offload factual retrieval to external tools. We evaluate models ranging from 135M to 32B parameters across three dimensions: linguistic competence, external factual knowledge, and internal factual knowledge. Our findings reveal that while both linguistic competence and factual knowledge improve with scale, internal factual knowledge grows significantly faster, suggesting that model size is more closely tied to memorization than to core language ability. These results support a modular approach to language modeling, where compact, linguistically proficient models serve as the foundation for tool-augmented systems. The FLM paradigm offers a path toward more efficient, interpretable, and sustainable NLP solutions.