Invariant Atoms: Sparse Coordinates of Local Semantic Geometry in Language Model Representations

📄 arXiv: 2609.36451v1 📥 PDF

作者: Muhammad Ahtesham, Xin Zhong

分类: cs.LG, cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出不变原子以解决语言模型局部语义几何问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 语义几何 稀疏表示 不变原子 语义重构 干扰抑制

📋 核心要点

  1. 现有语言模型在处理语义变化时，缺乏有效的稀疏坐标系统，导致语义与干扰的混淆。
  2. 论文提出不变原子假设，通过学习共享语义框架和稀疏坐标，重构语义位移并抑制干扰变化。
  3. 实验结果显示，学习到的原子在语义与干扰分离、稀疏重构和方向可重复性方面表现优异，且对模型预测有显著影响。

📝 摘要（中文）

大型语言模型在措辞、风格和语法发生显著变化时，通常仍能保持语义的一致性，而小的语义编辑则可能系统性地改变其隐藏表示。这表明语义变化可能沿着重复的局部方向组织。本文提出不变原子假设：局部语义运动在保持语义不变的变换下，存在偏好的稀疏坐标。我们学习共享的语义框架和稀疏坐标，以重构语义位移，同时抑制干扰变化。实验证明，这些原子在语义与干扰的分离、稀疏重构、可重复方向和对模型预测的因果影响方面表现出色。

🔬 方法详解

问题定义：本文旨在解决语言模型中局部语义几何的稀疏坐标表示问题。现有方法在处理语义变化时，难以有效区分语义与干扰，导致表示不稳定。

核心思路：提出不变原子假设，认为局部语义运动存在稳定的稀疏坐标，能够在保持语义不变的变换下进行有效重构。通过学习共享语义框架，抑制干扰变化。

技术框架：整体架构包括学习共享语义框架、稀疏坐标的生成和调整模块。通过锚点依赖的对角调制，调整原子强度而不进行样本特定的旋转。

关键创新：最重要的创新在于提出了不变原子作为稀疏坐标系统，能够有效分离语义与干扰，且在模型修改下保持稳定性。这与现有方法的稠密表示形成鲜明对比。

关键设计：在参数设置上，采用了对角调制技术，损失函数设计为同时考虑语义重构和干扰抑制，网络结构则强调稀疏性和方向的可重复性。通过这些设计，提升了模型的语义选择性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，学习到的原子在语义与干扰分离方面表现出色，稀疏重构能力强，且方向可重复性高。与基线模型相比，语义选择性提升显著，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提供稳定的稀疏坐标系统，能够提升语言模型在多样化语境下的表现，具有实际价值和广泛的未来影响。

📄 摘要（原文）

Large language models often preserve meaning despite substantial changes in wording, style, and syntax, while small semantic edits can systematically alter their hidden representations. This suggests that semantic variation may be organized along recurring local directions. We propose the Invariant Atom Hypothesis: local semantic motion admits preferred sparse coordinates along directions that remain stable under meaning-preserving transformations. We learn a shared semantic frame and sparse coordinates that reconstruct semantic displacements while suppressing nuisance variation, with anchor-dependent diagonal modulation adjusting atom strengths without sample-specific rotations. Empirically, the atoms exhibit strong semantic--nuisance separation, sparse reconstruction, reproducible directions, and causal effects on model predictions. The learned geometry generalizes to unseen semantic neighborhoods and nuisance families, while local reweighting improves semantic selectivity and preserves a consistent global-to-local structure. Atom signatures also remain stable under model modification. These findings support reusable invariant directions as a sparse coordinate system for local semantic geometry in language models.