Meaning Contracts: Local Semantic Geometry in Large Language Models

📄 arXiv: 2610.30715v1 📥 PDF

作者: Andrés Daniel Godoy Ortiz

分类: cs.CL, cs.AI

发布日期: 2026-10-22

备注: 24 pages, 8 figures. Code and data: https://github.com/adgodoyo/Meaning_Contracts

💡 一句话要点

提出局部语义几何以分析大语言模型中的意义契约

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 语义几何 局部分析 语义收缩 跨语言探测 细化探测 自然语言处理

📋 核心要点

  1. 核心问题：现有方法未能有效表征单一语义因子的内部局部几何特征，导致对语义的理解不够深入。
  2. 方法要点：论文通过两种控制探测，分析大语言模型中语义的局部几何，揭示语义因子的组织结构及其细化过程。
  3. 实验或效果：研究发现，语义因子围绕不变核心组织，细化过程导致语义收缩，且不同模型间结果一致，验证了方法的有效性。

📝 摘要（中文）

本文研究了大语言模型中语义意义的局部几何特征。现有的表示分析主要关注嵌入空间中意义的接近程度或线性探测器对语义类别的分离能力，但未能深入探讨单一语义因子的内部局部几何特征。本文通过对四种不同架构的解码器仅模型（Gemma 4、Llama 3.2、Qwen 2.5、Pythia）进行两种控制探测，来表征这种几何特征。研究发现，语义因子围绕不变核心组织，细化过程导致语义收缩，且句子级和标记局部的读出展现出互补的几何特征。

🔬 方法详解

问题定义：本文旨在解决当前对大语言模型中语义因子局部几何特征的理解不足，现有方法主要关注语义的全局关系，未能深入探讨局部变化和细化过程的影响。

核心思路：通过设计两种控制探测，分别利用跨语言探测和细化探测，分析语义因子的局部几何特征，揭示语义在不同实现中的不变性和变化性。

技术框架：整体架构包括两个主要模块：跨语言探测用于分离精确意义匹配和相似因子实现，细化探测用于区分语义特异性和高概率属性扩展。实验在四种不同架构的解码器仅模型上进行验证。

关键创新：最重要的技术创新在于通过局部几何分析揭示语义因子的组织结构，提供了对语义收缩和细化过程的深入理解，与现有方法的全局分析形成鲜明对比。

关键设计：在实验中，采用盲人判断验证探测结果的有效性，使用均值池化去除主导方差方向，确保句子对按语义相关性排序，设计了针对不同语义因子的控制实验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在去除主导方差方向后，句子对按语义相关性排序，验证了语义因子围绕不变核心的组织结构。此外，细化过程导致语义收缩，实验结果在不同模型间一致，表明方法的普适性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、语义理解和人机交互等。通过深入理解大语言模型中的语义结构，可以提升模型在复杂语义任务中的表现，推动智能助手、翻译系统等应用的发展。

📄 摘要（原文）

This paper studies the local geometry of semantic meaning in large language models. Current representation analyses ask whether meanings are close in embedding space, or whether linear probes separate semantic classes, but they do not characterize the within-concept local geometry: what is invariant across realizations of a single semantic factor, what varies, and what changes when meaning is refined. This paper characterizes that geometry through two controlled probes evaluated on four architecturally diverse decoder-only LLMs (Gemma 4, Llama 3.2, Qwen 2.5, Pythia). A cross-lingual probe uses language as a perturbation to separate exact meaning matches, same-factor realizations, nearby concepts, and out-of-domain contrasts. A refinement probe separates specificity-bearing semantic narrowing from high-probability attributive elaboration and adversarial controls; both probes are validated by blind human judgments. Four findings recur across all models: under mean pooling, once dominant variance directions are removed, sentence pairs order by semantic relatedness (same factor, then same domain, then different domain) without overlap over a band of layers; semantic factors organize around an invariant core surrounded by structured realization-specific variation; refinement produces directed displacement into tighter neighborhoods, including against controls built on the same base noun; and sentence-level and token-local readouts expose complementary geometry (volume contraction at the sentence level, sharper anisotropic endpoints at token-local readout). We interpret these results as evidence that LLM semantics are organized as local anisotropic neighborhoods in which meaning contracts under refinement.