Recovering Event Probabilities from Large Language Model Embeddings via Axiomatic Constraints

📄 arXiv: 2505.07883v1 📥 PDF

作者: Jian-Qiao Zhu, Haijiang Yan, Thomas L. Griffiths

分类: cs.CL, cs.AI

发布日期: 2025-05-10

💡 一句话要点

提出基于公理约束的VAE方法，从LLM嵌入中恢复更符合概率论的事件概率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件概率恢复 大型语言模型 变分自编码器 公理约束 概率论 嵌入空间 不确定性推理

📋 核心要点

  1. LLM生成的事件概率不符合概率论公理，导致决策不一致，需要更可靠的概率估计。
  2. 提出一种基于变分自编码器（VAE）的方法，在LLM嵌入的潜在空间中强制执行概率公理约束。
  3. 实验表明，该方法恢复的事件概率比LLM直接输出的概率更连贯，更接近真实概率。

📝 摘要（中文）

在不确定性下进行理性决策需要对事件具有连贯的置信度。然而，大型语言模型（LLM）生成的事件概率已被证明是不连贯的，违反了概率论的公理。本文探讨了是否可以从模型使用的嵌入中恢复连贯的事件概率。为此，我们提出在应用于LLM嵌入的扩展变分自编码器（VAE）学习的潜在空间中，强制执行公理约束，例如概率论的加法规则。这种方法使得事件概率能够自然地在潜在空间中涌现，因为VAE学习既要重建原始嵌入，又要预测语义相关事件的嵌入。我们在互补事件（即事件A及其补集，事件非A）上评估了我们的方法，其中两个事件的真实概率之和必须为1。在开放权重语言模型上的实验结果表明，从嵌入中恢复的概率比相应模型直接报告的概率表现出更大的连贯性，并且与真实概率非常吻合。

🔬 方法详解

问题定义：大型语言模型（LLM）在处理不确定性事件时，直接输出的事件概率往往不符合概率论的基本公理，例如互补事件的概率之和不为1。这导致基于这些概率的决策可能出现偏差或不一致。现有方法难以保证LLM输出概率的连贯性，缺乏有效的校准机制。

核心思路：本文的核心思路是利用LLM的嵌入空间蕴含的语义信息，通过学习一个受概率公理约束的潜在空间，从中恢复更符合概率论的事件概率。通过在潜在空间中强制执行概率公理，使得模型学习到的事件表示能够反映事件之间的概率关系，从而提升概率估计的准确性和连贯性。这样设计的目的是将概率约束融入到模型的学习过程中，而非简单地对LLM的输出进行后处理。

技术框架：该方法基于变分自编码器（VAE）框架，并对其进行了扩展。整体流程如下：1) 使用LLM生成事件的嵌入表示；2) 将这些嵌入输入到VAE中进行编码和解码；3) 在VAE的潜在空间中，通过损失函数强制执行概率公理约束，例如互补事件的概率之和为1；4) VAE学习重建原始嵌入，并预测语义相关事件的嵌入；5) 从VAE的潜在空间中提取恢复后的事件概率。

关键创新：该方法最重要的创新点在于将概率公理约束融入到VAE的潜在空间学习中。与直接使用LLM输出的概率相比，该方法能够利用嵌入空间中的语义信息，并强制满足概率公理，从而获得更连贯和准确的事件概率估计。此外，使用VAE框架能够有效地学习嵌入的潜在表示，并从中提取概率信息。

关键设计：关键的技术细节包括：1) 使用扩展的VAE架构，使其能够同时重建原始嵌入和预测相关事件的嵌入；2) 设计特定的损失函数，用于在潜在空间中强制执行概率公理约束，例如使用均方误差损失来约束互补事件概率之和接近1；3) 选择合适的LLM作为嵌入生成器，并根据具体任务调整VAE的超参数，例如潜在空间的维度、编码器和解码器的网络结构等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在互补事件概率估计任务上取得了显著的提升。与直接使用LLM输出的概率相比，从嵌入中恢复的概率更接近真实概率，并且更符合概率论的加法规则。具体而言，恢复后的互补事件概率之和更接近1，表明其连贯性得到了显著改善。实验在多个开放权重语言模型上进行了验证，证明了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于各种需要处理不确定性事件的场景，例如风险评估、决策支持系统、自然语言理解和生成等。通过提供更准确和连贯的事件概率估计，可以提升这些系统的可靠性和有效性。未来，该方法可以扩展到更复杂的概率推理任务，例如贝叶斯网络学习和因果推断。

📄 摘要（原文）

Rational decision-making under uncertainty requires coherent degrees of belief in events. However, event probabilities generated by Large Language Models (LLMs) have been shown to exhibit incoherence, violating the axioms of probability theory. This raises the question of whether coherent event probabilities can be recovered from the embeddings used by the models. If so, those derived probabilities could be used as more accurate estimates in events involving uncertainty. To explore this question, we propose enforcing axiomatic constraints, such as the additive rule of probability theory, in the latent space learned by an extended variational autoencoder (VAE) applied to LLM embeddings. This approach enables event probabilities to naturally emerge in the latent space as the VAE learns to both reconstruct the original embeddings and predict the embeddings of semantically related events. We evaluate our method on complementary events (i.e., event A and its complement, event not-A), where the true probabilities of the two events must sum to 1. Experiment results on open-weight language models demonstrate that probabilities recovered from embeddings exhibit greater coherence than those directly reported by the corresponding models and align closely with the true probabilities.