Generative Criticality in Large Language Model Temperature Scaling
作者: Huajian Ruan, Jinyang Li, Xingyu Guo, Lingxiao Wang
分类: cs.LG, cond-mat.stat-mech, hep-lat
发布日期: 2026-06-04
备注: 9 pages, 7 figures, contributed to PAI 2026 Conference
💡 一句话要点
提出统计场框架以分析大语言模型的温度标定问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 统计场 温度标定 相变分析 文本生成 模型优化
📋 核心要点
- 现有方法在分析大语言模型生成文本的统计特性时，缺乏有效的框架，难以捕捉其复杂的相变行为。
- 论文提出了一种将词嵌入视为连续自旋变量的统计场框架，通过易感性和序参量的定义，揭示了温度变化对模型输出的影响。
- 实验结果显示，在特征温度$T_c$附近，易感性和序参量均发生显著变化，且在不同模型规模和提示类别中结果一致，验证了框架的有效性。
📝 摘要（中文）
本文提出了一种统计场框架，用于分析大语言模型（LLMs）生成的文本，将词嵌入视为一维链上的连续自旋变量。通过定义来自连接的两点关联函数的易感性和来自集成平均嵌入场的序参量，研究了在变化的softmax温度下的行为。观察到在特征温度$T_c$附近存在明显的易感性峰值，以及序参量的快速变化，并且在$T_c$以下向单一语义方向收敛。通过两近邻方法独立验证了这些发现，且结果在不同模型规模和提示类别中均表现出稳健性。尽管现象学特征与连续相变相似，但自回归生成的非平衡特性仍需进一步研究。该框架为探讨LLM输出的集体统计结构提供了定量工具，并暗示了解码策略与临界现象之间的联系。
🔬 方法详解
问题定义：本文旨在解决如何有效分析大语言模型生成文本的统计特性，现有方法在捕捉复杂相变行为方面存在不足。
核心思路：通过将词嵌入视为一维链上的连续自旋变量，定义易感性和序参量，研究温度变化对模型输出的影响。这样的设计能够揭示模型生成过程中的集体行为和相变特征。
技术框架：整体架构包括定义词嵌入的统计场模型，计算连接的两点关联函数以获得易感性，并通过集成平均嵌入场来提取序参量。
关键创新：最重要的技术创新在于将大语言模型的输出视为统计物理中的相变现象，提供了新的视角来理解模型的生成机制，与传统方法相比，能够更深入地探讨模型输出的集体统计结构。
关键设计：在实验中，采用了softmax温度$T$的变化来观察模型输出的行为，使用两近邻方法估计内在维度，并确保在不同模型规模（如Qwen3: 0.6B至32B）和提示类别中结果的稳健性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在特征温度$T_c$附近，易感性峰值显著，序参量快速变化，且在$T_c$以下收敛到单一语义方向。通过两近邻方法的验证，内在维度在$T_c$附近达到最小值，结果在不同模型规模和提示类别中均表现出一致性，显示出该框架的稳健性。
🎯 应用场景
该研究为大语言模型的输出分析提供了新的统计工具，具有广泛的应用潜力，尤其是在自然语言处理、文本生成和模型优化等领域。未来，研究结果可能推动解码策略的改进，提升模型的生成质量和效率。
📄 摘要（原文）
We propose a statistical-field framework for text generated by large language models (LLMs), treating token embeddings as continuous spin variables on a one-dimensional chain. Defining a susceptibility from the connected two-point correlator and an order parameter from the ensemble-averaged embedding field, we vary the \texttt{softmax} temperature $T$ and observe a sharp susceptibility peak near a characteristic $T_c$ with power-law-like scaling, a concurrent rapid change in the order parameter, and a collapse onto a single semantic direction below $T_c$. The intrinsic dimension estimated by the two nearest neighbor (TwoNN) method independently corroborates these findings, reaching a minimum near $T_c$. Results are robust across model scales (Qwen3: 0.6B--32B) and prompt categories. While the phenomenology closely resembles a continuous phase transition, the non-equilibrium nature of autoregressive generation warrants further investigation. Our framework provides quantitative tools for probing the collective statistical structure of LLM outputs and suggests connections between decoding strategies and critical phenomena.