Distributional Semantics, Holism, and the Instability of Meaning

📄 arXiv: 2405.12084v2 📥 PDF

作者: Jumbly Grindrod, J. D. Porter, Nat Hansen

分类: cs.CL

发布日期: 2024-05-20 (更新: 2025-04-03)

💡 一句话要点

研究词语意义分布模型的不稳定性，并提出差分不稳定性概念以应对意义变化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布语义 语言模型 不稳定性 差分不稳定性 语义变化

📋 核心要点

  1. 现有语言模型基于分布语义，但其整体性意义观面临不稳定性挑战，即微小变化可能导致整个系统崩溃。
  2. 论文提出“差分不稳定性”概念，关注词语间相对距离变化，而非绝对位置变化，以此应对整体性意义观的不稳定性。
  3. 通过构建小型语言模型，验证了差分不稳定性允许意义的生产性变化，同时避免了传统不稳定性带来的问题。

📝 摘要（中文）

大型语言模型建立在所谓的分布语义方法之上，该方法的核心是分布假设。分布假设包含了一种对词语意义的整体性概念：一个词的意义取决于它与模型中其他词的关系。对整体论的一个标准反对意见是不稳定性：语言系统（例如，人类说话者）的意义属性的任何变化都会导致整个系统的许多变化或完全变化。我们研究了不稳定性是否对意义的分布模型构成问题。首先，我们区分了这些模型可能表现出的不同形式的不稳定性，并认为只有一种形式与理解不稳定性与交流之间的关系相关：我们称之为差分不稳定性。差分不稳定性是空间中点之间相对距离的变化，而不是这些点的绝对位置的变化。我们通过构建我们自己的两个较小的语言模型来区分差分不稳定性与绝对不稳定性。我们通过展示这些模型随着它们所构建的语料库大小的增加而变化来证明这两种形式的不稳定性。我们认为，这些模型所显示的不稳定性受到词语之间关系结构和规模的约束，因此，一个词的抗变化能力大致与其在语言系统中的频繁和一致使用成正比。语言模型所表现出的差分不稳定性允许产生富有成效的意义变化形式，同时不会导致不稳定性反对意见所提出的问题。

🔬 方法详解

问题定义：论文旨在解决分布语义模型中，由于词语意义的整体性，导致模型对微小变化过于敏感，从而产生不稳定性问题。现有方法难以区分词语意义的绝对变化和相对变化，容易将正常的语义演变误判为系统崩溃。

核心思路：论文的核心在于区分“绝对不稳定性”和“差分不稳定性”。绝对不稳定性指词语在语义空间中的绝对位置变化，而差分不稳定性指词语之间的相对距离变化。论文认为，语言交流更依赖于词语间的相对关系，因此差分不稳定性更能反映实际的语义变化。通过关注差分不稳定性，可以降低模型对噪声的敏感度，提高模型的鲁棒性。

技术框架：论文构建了两个小型语言模型，并随着训练语料库的增大，观察模型中词语位置的变化。通过分析词语绝对位置的变化和词语间相对距离的变化，来区分绝对不稳定性和差分不稳定性。论文还分析了词频和词语使用一致性对词语稳定性的影响。

关键创新：论文的关键创新在于提出了“差分不稳定性”的概念，并将其应用于分析分布语义模型的不稳定性问题。与以往关注绝对位置变化的研究不同，论文强调了词语间相对关系的重要性，为理解和解决分布语义模型的不稳定性问题提供了新的视角。

关键设计：论文构建了基于词共现矩阵的语言模型，并使用余弦相似度来衡量词语之间的语义距离。论文分析了不同词频和使用一致性的词语在模型训练过程中的位置变化，并统计了绝对位置变化和相对距离变化的幅度。具体参数设置和网络结构未详细描述，属于模型构建的基础部分。

📊 实验亮点

论文通过实验证明，语言模型中存在绝对不稳定性，但更重要的是差分不稳定性。实验结果表明，词频越高、使用越一致的词语，其抗变化能力越强。论文提出的差分不稳定性概念能够更好地解释语言模型的语义变化，并为解决不稳定性问题提供了新的思路。

🎯 应用场景

该研究成果可应用于提升自然语言处理模型的鲁棒性和稳定性，尤其是在处理大规模、动态变化的语料库时。通过关注词语间的相对关系，可以构建更加可靠的语义表示，从而提高机器翻译、文本分类、信息检索等任务的性能。此外，该研究对于理解人类语言的演变和语义变化也具有理论价值。

📄 摘要（原文）

Large Language Models are built on the so-called distributional semantic approach to linguistic meaning that has the distributional hypothesis at its core. The distributional hypothesis involves a holistic conception of word meaning: the meaning of a word depends upon its relations to other words in the model. A standard objection to holism is the charge of instability: any change in the meaning properties of a linguistic system (a human speaker, for example) would lead to many changes or a complete change in the entire system. We examine whether the instability objection poses a problem for distributional models of meaning. First, we distinguish between distinct forms of instability that these models could exhibit, and argue that only one such form is relevant for understanding the relation between instability and communication: what we call differential instability. Differential instability is variation in the relative distances between points in a space, rather than variation in the absolute position of those points. We distinguish differential and absolute instability by constructing two of our own smaller language models. We demonstrate the two forms of instability by showing these models change as the corpora they are constructed from increase in size. We argue that the instability that these models display is constrained by the structure and scale of relationships between words, such that the resistance to change for a word is roughly proportional to its frequent and consistent use within the language system. The differential instability that language models exhibit allows for productive forms of meaning change while not leading to the problems raised by the instability objection.