What Should Embeddings Embed? Autoregressive Models Represent Latent Generating Distributions
作者: Liyi Zhang, Michael Y. Li, R. Thomas McCoy, Theodore R. Sumers, Jian-Qiao Zhu, Thomas L. Griffiths
分类: cs.LG, cs.AI, cs.CL, stat.ML
发布日期: 2024-06-06 (更新: 2026-01-07)
备注: 28 pages, 11 figures
期刊: Transactions on Machine Learning Research. 2025. https://openreview.net/forum?id=YyMACp98Kz
💡 一句话要点
揭示自回归模型表征潜在生成分布，探究嵌入向量应编码的内容
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自回归模型 嵌入向量 潜在生成分布 Transformer 充分统计量
📋 核心要点
- 现有语言模型嵌入向量的表示内容尚不明确，缺乏对嵌入向量应编码信息的理论指导。
- 论文将自回归预测目标与预测充分统计量联系，提出嵌入向量应编码潜在生成分布的后验信息。
- 实验证明Transformer模型能够编码独立同分布数据、潜在状态模型和离散假设空间三种情况下的潜在生成分布。
📝 摘要（中文）
自回归语言模型展现了从文本中提取潜在结构的卓越能力。大型语言模型的嵌入向量已被证明能够捕捉语言的句法和语义方面。但是，嵌入向量应该表示什么？本文将自回归预测目标与构建预测充分统计量以总结观察序列中包含的信息的思想联系起来，并使用这种联系来识别嵌入向量的最佳内容可以被识别的三个设置：独立同分布数据，其中嵌入向量应捕获数据的充分统计量；潜在状态模型，其中嵌入向量应编码给定数据的状态后验分布；以及离散假设空间，其中嵌入向量应反映给定数据的假设后验分布。然后，本文进行了实证探测研究，表明Transformer编码了这三种潜在生成分布，并且它们在这些设置中表现良好，即使在分布外的情况下，且无需进行token记忆。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）的嵌入向量能够捕捉到语言的句法和语义信息，但是对于嵌入向量应该表示什么内容，缺乏明确的理论指导。现有的方法通常是直接训练模型，然后通过实验来观察嵌入向量的性质，缺乏对嵌入向量的内在含义的理解。因此，需要研究嵌入向量应该如何表示数据中的潜在结构，以及如何利用嵌入向量来进行有效的预测和推理。
核心思路：论文的核心思路是将自回归预测目标与构建预测充分统计量联系起来。具体来说，自回归模型的目标是预测序列中的下一个token，这可以看作是根据已有的信息来估计数据的生成分布。因此，嵌入向量应该能够捕捉到数据的充分统计量，即包含所有用于预测未来数据的必要信息。对于不同的数据生成过程，嵌入向量应该编码不同的信息。例如，对于独立同分布的数据，嵌入向量应该捕捉到数据的充分统计量；对于潜在状态模型，嵌入向量应该编码给定数据的状态后验分布；对于离散假设空间，嵌入向量应该反映给定数据的假设后验分布。
技术框架：论文没有提出一个全新的模型架构，而是利用现有的Transformer模型作为基础架构，并重点关注如何解释和理解Transformer模型中的嵌入向量。论文通过设计不同的实验场景，来验证Transformer模型是否能够编码不同类型的潜在生成分布。具体来说，论文设计了三个实验场景：独立同分布数据、潜在状态模型和离散假设空间。在每个场景中，论文都训练了一个Transformer模型，并使用探测技术来分析嵌入向量中包含的信息。
关键创新：论文的关键创新在于将自回归预测目标与预测充分统计量联系起来，并提出了嵌入向量应该编码潜在生成分布的后验信息的观点。这个观点为理解和设计语言模型的嵌入向量提供了一个新的视角。此外，论文还通过实验证明了Transformer模型能够编码不同类型的潜在生成分布，这为理解Transformer模型的内部机制提供了一些新的线索。
关键设计：论文的关键设计在于实验场景的设计和探测技术的使用。论文设计了三个不同的实验场景，分别对应于不同的数据生成过程。每个场景都经过精心设计，以确保能够有效地验证论文的观点。此外，论文还使用了多种探测技术来分析嵌入向量中包含的信息，例如线性分类器、互信息估计等。这些探测技术能够有效地揭示嵌入向量的内部结构。
🖼️ 关键图片
📊 实验亮点
论文通过实证探测研究表明，Transformer模型能够编码独立同分布数据、潜在状态模型和离散假设空间三种情况下的潜在生成分布。实验结果表明，即使在分布外的情况下，Transformer模型也能表现良好，且无需进行token记忆。这验证了论文提出的嵌入向量应编码潜在生成分布的观点。
🎯 应用场景
该研究成果可应用于提升语言模型的表示能力和泛化性能。通过理解嵌入向量应编码的内容，可以设计更有效的模型架构和训练方法，从而提高模型在各种自然语言处理任务中的表现。此外，该研究还有助于开发更可靠的 out-of-distribution 检测方法，提升模型在未知环境中的鲁棒性。
📄 摘要（原文）
Autoregressive language models have demonstrated a remarkable ability to extract latent structure from text. The embeddings from large language models have been shown to capture aspects of the syntax and semantics of language. But what should embeddings represent? We connect the autoregressive prediction objective to the idea of constructing predictive sufficient statistics to summarize the information contained in a sequence of observations, and use this connection to identify three settings where the optimal content of embeddings can be identified: independent identically distributed data, where the embedding should capture the sufficient statistics of the data; latent state models, where the embedding should encode the posterior distribution over states given the data; and discrete hypothesis spaces, where the embedding should reflect the posterior distribution over hypotheses given the data. We then conduct empirical probing studies to show that transformers encode these three kinds of latent generating distributions, and that they perform well in out-of-distribution cases and without token memorization in these settings.