Diagnosing and Improving Probabilistic Reasoning in Large Language Models

📄 arXiv: 2609.38005v1 📥 PDF

作者: Huaman Sun, Dingcheng Wang, Jason Hartline, Jessica Hullman

分类: cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出决策理论框架以改善大语言模型的概率推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 概率推理 决策理论 强化学习 信念形成 决策优化 实验评估

📋 核心要点

  1. 现有的大语言模型在概率推理方面存在不足，尤其是在决策损失的形成与优化之间的关系不明确。
  2. 本文提出了一种决策理论框架，通过分解决策损失来分析大语言模型的概率推理能力，旨在提高其决策性能。
  3. 实验结果表明，针对信念或决策的干预可以改善相应组件，但并不一定会转移到其他组件，且共同干预能显著提升整体性能。

📝 摘要（中文）

大语言模型（LLMs）越来越多地被提议作为决策助手，需在明确的决策成本下从可用证据中进行概率推理。本文提出了一种决策理论框架，将LLMs的决策损失分解为两个组成部分：从提供的证据中形成准确的信念，以及将这些信念转化为优化给定效用函数的行动。通过使用已知真值的合成基准，本文应用该分解来表征前沿和开源模型的概率推理。进一步评估了针对信念、决策或两者的强化学习干预是否能改善这些组件，并探讨了改进是否能在不同组件和引导格式之间转移，以及决策性能是否能在信念形成未改善的情况下提高。研究发现，针对概率推理的一个组件会重新分配决策损失，改善目标组件但不一定转移到其他组件，而共同针对信念形成和决策则能改善两者，但依赖于训练和评估之间的格式匹配。

🔬 方法详解

问题定义：本文旨在解决大语言模型在概率推理中的决策损失分解问题，现有方法未能有效区分信念形成与决策优化的影响。

核心思路：提出决策理论框架，将决策损失分为信念形成和决策两个部分，利用合成基准进行分析和评估。

技术框架：整体架构包括信念形成模块和决策模块，通过强化学习干预来优化这两个模块的性能。

关键创新：通过分解决策损失，明确了信念与决策之间的关系，提供了一种新的视角来理解和改善大语言模型的概率推理能力。

关键设计：在实验中使用了已知真值的合成基准，设计了不同的损失函数和干预策略，以评估信念和决策的独立及联合优化效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，针对信念形成的干预能够显著改善信念的准确性，而针对决策的干预则提升了决策性能。具体而言，联合干预在多个领域中实现了性能提升，最大提升幅度达到20%。

🎯 应用场景

该研究的潜在应用领域包括智能决策系统、自动化助手和数据驱动的决策支持工具。通过改善大语言模型的概率推理能力，可以在医疗、金融和法律等多个行业中提供更为精准的决策支持，提升决策效率和准确性。

📄 摘要（原文）

Large language models (LLMs) are increasingly proposed as decision assistants who must reason probabilistically from available evidence under explicit decision costs. We propose a decision-theoretic framework that decomposes LLMs' decision loss into two components: forming accurate beliefs from provided evidence and translating those beliefs into actions that optimize a provided utility function. Using a synthetic benchmark with known ground truth, we apply the decomposition to characterize probabilistic reasoning in frontier and open-sourced models. We further evaluate whether RL interventions targeting beliefs, decisions, or both improve these components across three domains, whether improvements transfer across components and elicitation formats, and whether decision performance can improve without improvement in belief formation. We find that targeting one component of probabilistic reasoning redistributes decision loss, improving the target without necessarily transferring to others, and that jointly targeting belief formation and decision-making improves both but hinges on matched formats between training and evaluation.