Information Gravity: A Field-Theoretic Model for Token Selection in Large Language Models
作者: Maryna Vyshnyvetska
分类: cs.CL
发布日期: 2025-04-29
备注: 12 pages, 1 figure
💡 一句话要点
提出信息引力模型，用场论解释大语言模型中的token选择过程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 信息引力 场论 token选择 语义空间
📋 核心要点
- 现有LLM在文本生成过程中存在幻觉、对查询敏感等问题，缺乏对token选择过程的理论解释。
- 论文提出“信息引力”模型，将查询视为信息质量，通过弯曲语义空间产生引力势阱来吸引token。
- 该模型能够解释LLM的幻觉现象、对查询的敏感性以及采样温度对输出多样性的影响。
📝 摘要（中文）
本文提出了一种名为“信息引力”的理论模型，用于描述大型语言模型（LLM）中的文本生成过程。该模型借鉴了场论和时空几何中的物理机制，将用户查询与生成token的概率分布之间的交互形式化。查询被视为具有“信息质量”的对象，它会弯曲模型的语义空间，产生引力势阱，在生成过程中“吸引”token。该模型提供了一种机制来解释LLM行为中的几种观察到的现象，包括幻觉（从低密度语义空隙中产生）、对查询表述的敏感性（由于语义场曲率的变化）以及采样温度对输出多样性的影响。
🔬 方法详解
问题定义：大型语言模型在文本生成过程中，token的选择机制复杂，容易出现幻觉、对输入prompt敏感等问题。现有方法缺乏对这些现象的有效解释，难以指导模型优化。论文旨在建立一个理论模型，解释LLM的token选择行为，并为解决上述问题提供理论基础。
核心思路：论文将用户查询视为具有“信息质量”的物体，该物体会弯曲LLM的语义空间，形成“引力场”。不同的token位于这个语义空间中，受到“引力”作用，概率高的token相当于位于“引力势阱”中，更容易被选中。通过模拟这种“信息引力”作用，可以解释LLM的token选择过程。
技术框架：该模型借鉴了场论和时空几何的概念。用户查询被映射到语义空间中的一个点，并赋予其“信息质量”。这个“信息质量”会根据一定的规则（类似于广义相对论中的质量-时空弯曲关系）弯曲语义空间。token的概率分布被视为语义空间中的一个场，受到“信息引力”的作用。模型通过计算token在“引力场”中的势能，来确定其被选中的概率。
关键创新：该模型的核心创新在于将LLM的token选择过程类比于物理学中的引力场，提供了一种全新的视角来理解LLM的行为。与传统的基于统计的方法不同，该模型试图从物理机制的角度解释token选择的内在原因。
关键设计：模型中“信息质量”的计算方式、语义空间的构建方式以及“引力场”的计算方式是关键的设计细节。论文可能需要定义一个函数来将用户查询映射到语义空间中的一个点，并确定该点的“信息质量”。此外，还需要定义一个度量来衡量语义空间中不同token之间的距离，以及一个公式来计算“引力场”的强度。
🖼️ 关键图片
📊 实验亮点
由于是理论模型，论文可能没有具体的实验数据。亮点在于提出了一个新颖的理论框架，并用该框架解释了LLM中观察到的一些现象，例如幻觉、对查询的敏感性以及采样温度的影响。该模型为后续研究提供了新的思路和方向。
🎯 应用场景
该研究成果可应用于提升LLM的可解释性和可控性，例如通过调整查询的“信息质量”或修改语义空间的结构来减少幻觉，提高生成文本的质量和多样性。此外，该模型还可以用于分析不同LLM的内部机制，为模型选择和优化提供指导。
📄 摘要（原文）
We propose a theoretical model called "information gravity" to describe the text generation process in large language models (LLMs). The model uses physical apparatus from field theory and spacetime geometry to formalize the interaction between user queries and the probability distribution of generated tokens. A query is viewed as an object with "information mass" that curves the semantic space of the model, creating gravitational potential wells that "attract" tokens during generation. This model offers a mechanism to explain several observed phenomena in LLM behavior, including hallucinations (emerging from low-density semantic voids), sensitivity to query formulation (due to semantic field curvature changes), and the influence of sampling temperature on output diversity.