Scale-Dependent Semantic Dynamics Revealed by Allan Deviation

📄 arXiv: 2601.21678v1 📥 PDF

作者: Debayan Dasgupta

分类: cs.CL, physics.data-an

发布日期: 2026-01-29

💡 一句话要点

利用Allan偏差揭示语义动态的尺度依赖性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义动态 Allan偏差 文本分析 自然语言处理 大型语言模型

📋 核心要点

  1. 核心问题：现有方法未能有效揭示语言语义进展的动态特性，尤其是在不同文本类型之间的差异。
  2. 方法要点：本文采用Allan偏差分析书面文本的语义进展，将其视为高维状态空间中的随机轨迹，以揭示语义稳定性。
  3. 实验或效果：研究发现短时间内的幂律缩放能够区分不同文本类型，并指出大型语言模型在稳定性方面的不足。

📝 摘要（中文）

尽管语言通过一系列语义状态进展，但这种进展的内在动态仍然难以捉摸。本文将书面文本的语义进展视为高维状态空间中的随机轨迹，利用精密计量学中的Allan偏差分析意义的稳定性。分析结果揭示了两种不同的动态机制：短时间的幂律缩放区分了创造性文学与技术文本，而长时间则交叉至稳定性限制的噪声底线。研究发现，尽管大型语言模型成功模拟了人类文本的局部缩放统计，但其稳定性视野却系统性降低。这些结果确立了语义连贯性作为可测量的物理属性，为区分人类认知的细微动态与算法模型生成的模式提供了框架。

🔬 方法详解

问题定义：本文旨在解决语言语义进展的动态特性难以捉摸的问题。现有方法未能有效区分不同文本类型的语义稳定性，尤其是创造性文学与技术文本之间的差异。

核心思路：论文提出将书面文本的语义进展视为高维状态空间中的随机轨迹，并利用Allan偏差分析其稳定性。这种方法能够揭示语义的动态特性，并提供量化的分析框架。

技术框架：整体架构包括数据预处理、句子嵌入生成、Allan偏差计算及结果分析等主要模块。首先，将文本转化为句子嵌入，然后计算其在不同时间尺度下的Allan偏差，以分析语义的稳定性。

关键创新：最重要的技术创新点在于将Allan偏差这一精密计量工具应用于语义分析，提供了一种新的视角来理解语言的动态特性。这与现有方法的本质区别在于关注语义的稳定性而非仅仅是内容的生成。

关键设计：在参数设置上，选择了适合文本特性的句子嵌入模型，并在Allan偏差计算中考虑了不同时间尺度的影响。损失函数设计上，强调了语义稳定性与文本类型之间的关系，以确保分析结果的有效性。

📊 实验亮点

实验结果表明，短时间内的幂律缩放能够有效区分创造性文学与技术文本，且大型语言模型在模拟人类文本的局部缩放统计时，其稳定性视野显著降低。这一发现为理解语义动态提供了新的实证依据。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、文本分析和人机交互等。通过量化语义稳定性，可以为文本生成、情感分析等任务提供新的视角和方法，提升算法模型的表现和理解能力。未来，该框架可能对认知科学和语言学研究产生深远影响。

📄 摘要（原文）

While language progresses through a sequence of semantic states, the underlying dynamics of this progression remain elusive. Here, we treat the semantic progression of written text as a stochastic trajectory in a high-dimensional state space. We utilize Allan deviation, a tool from precision metrology, to analyze the stability of meaning by treating ordered sentence embeddings as a displacement signal. Our analysis reveals two distinct dynamical regimes: short-time power-law scaling, which differentiates creative literature from technical texts, and a long-time crossover to a stability-limited noise floor. We find that while large language models successfully mimic the local scaling statistics of human text, they exhibit a systematic reduction in their stability horizon. These results establish semantic coherence as a measurable physical property, offering a framework to differentiate the nuanced dynamics of human cognition from the patterns generated by algorithmic models.