Geometric Scaling of Bayesian Inference in LLMs
作者: Naman Agarwal, Siddhartha R. Dalal, Vishal Misra
分类: cs.LG, cs.AI
发布日期: 2025-12-27 (更新: 2026-01-27)
备注: Added domain restriction confound caveat. Threshold justification anchored to wind-tunnel baselines. Strengthened content-based routing connection to Mamba. Improved trilogy framing in conclusion (which/how/that structure)
💡 一句话要点
探讨大语言模型中贝叶斯推断的几何特征
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 贝叶斯推断 几何特征 语言模型 Pythia 熵对齐 不确定性 深度学习
📋 核心要点
- 现有方法在处理复杂语言模型时，贝叶斯推断的几何特征是否持续存在仍然未知。
- 论文通过对多种语言模型的最后一层值表示进行分析，探讨其几何特征与预测熵的关系。
- 实验结果表明，模型的几何结构在不同提示下保持一致，且对不确定性的干预具有选择性影响。
📝 摘要（中文）
近期研究表明，在受控的“风洞”环境中训练的小型变换器能够实现精确的贝叶斯推断，并且其训练动态产生的几何基底——低维值流形和逐步正交的键——编码了后验结构。我们研究这种几何特征是否在生产级语言模型中持续存在。在Pythia、Phi-2、Llama-3和Mistral系列模型中，我们发现最后一层的值表示沿着一个主导轴组织，其位置与预测熵强相关，而领域限制的提示将这一结构压缩到与合成环境中观察到的相同低维流形。通过对Pythia-410M的熵对齐轴进行有针对性的干预，我们发现去除或扰动该轴会选择性地破坏局部不确定性几何，而随机轴干预则不会影响其完整性。这表明几何特征是对不确定性的特权读取，而非单一计算瓶颈。我们的结果显示，现代语言模型保留了在风洞中实现贝叶斯推断的几何基底，并沿着这一基底组织其近似贝叶斯更新。
🔬 方法详解
问题定义：本论文旨在探讨大语言模型中贝叶斯推断的几何特征是否持续存在，现有方法在这一领域的研究相对较少，缺乏对生产级模型的深入分析。
核心思路：通过分析不同语言模型的最后一层值表示，论文提出了几何特征与预测熵之间的关系，并通过干预实验验证其有效性。
技术框架：研究首先对Pythia、Phi-2、Llama-3和Mistral模型进行比较，分析其几何结构，然后通过对Pythia-410M进行有针对性的干预，观察几何特征的变化。
关键创新：论文的创新点在于揭示了现代语言模型中保留的几何基底，这一基底支持贝叶斯推断，并且通过实验验证了几何特征与不确定性之间的关系。
关键设计：在实验中，采用了熵对齐轴的干预方法，设计了随机轴干预作为对照，以确保结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最后一层值表示沿着一个主导轴组织，其位置与预测熵强相关。对Pythia-410M的干预实验表明，去除熵对齐轴会显著影响局部不确定性几何，而随机轴干预则未见影响，验证了几何特征的选择性重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过理解语言模型中的几何特征，可以优化模型的推断能力，提高其在复杂任务中的表现，未来可能对智能助手和自动化系统的发展产生深远影响。
📄 摘要（原文）
Recent work has shown that small transformers trained in controlled "wind-tunnel'' settings can implement exact Bayesian inference, and that their training dynamics produce a geometric substrate -- low-dimensional value manifolds and progressively orthogonal keys -- that encodes posterior structure. We investigate whether this geometric signature persists in production-grade language models. Across Pythia, Phi-2, Llama-3, and Mistral families, we find that last-layer value representations organize along a single dominant axis whose position strongly correlates with predictive entropy, and that domain-restricted prompts collapse this structure into the same low-dimensional manifolds observed in synthetic settings. To probe the role of this geometry, we perform targeted interventions on the entropy-aligned axis of Pythia-410M during in-context learning. Removing or perturbing this axis selectively disrupts the local uncertainty geometry, whereas matched random-axis interventions leave it intact. However, these single-layer manipulations do not produce proportionally specific degradation in Bayesian-like behavior, indicating that the geometry is a privileged readout of uncertainty rather than a singular computational bottleneck. Taken together, our results show that modern language models preserve the geometric substrate that enables Bayesian inference in wind tunnels, and organize their approximate Bayesian updates along this substrate.