Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability

📄 arXiv: 2609.10036v1 📥 PDF

作者: Arnab Chattopadhayay, Debdipta Halder

分类: cs.AI, cs.LG, cs.RO

发布日期: 2026-09-09

备注: Total number of pages: 19, total number of figures: 5

💡 一句话要点

提出信念状态引擎以解决部分可观测环境下的规划问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信念状态引擎 部分可观测马尔可夫决策过程 贝叶斯推理 决策一致性 大型语言模型

📋 核心要点

  1. 现有的LLM在部分可观测环境中容易受到模糊反馈的影响，导致决策不一致和信念漂移。
  2. 本文提出的信念状态引擎（BSE）通过维护贝叶斯后验，解决了LLM缺乏对隐藏状态的明确信念的问题。
  3. 在Tiger POMDP和红队攻击图任务中，BSE增强的代理在任务回报和决策一致性上显著优于六个基线模型。

📝 摘要（中文）

大型语言模型（LLM）在多种任务中生成流畅的动作序列，但在部分可观测环境中表现不佳，容易受到模糊反馈的影响，导致过早承诺。本文提出信念状态引擎（BSE），作为LLM外部的推理模块，维护给定部分可观测马尔可夫决策过程（POMDP）模型的贝叶斯后验。在每个决策步骤中，BSE仅向LLM暴露后验，而不显示原始的动作-观察日志。通过对BSE与LLM的结合进行理论证明，确保其在信念MDP上是有效的马尔可夫策略，从而继承经典POMDP理论的贝尔曼最优性保证。实验结果表明，BSE增强的代理在任务回报、信念校准和决策一致性方面均有显著提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在部分可观测环境中决策不一致和信念漂移的问题。现有方法缺乏对隐藏状态的明确信念，导致在面对模糊反馈时容易做出错误决策。

核心思路：提出信念状态引擎（BSE），作为LLM外部的推理模块，维护POMDP模型的贝叶斯后验，并在每个决策步骤中仅向LLM暴露该后验，从而避免直接接触原始历史数据。

技术框架：整体架构包括LLM和BSE两个主要模块。BSE负责维护和更新信念状态，而LLM则基于BSE提供的后验进行决策。该架构确保了LLM在决策时的信念一致性。

关键创新：BSE的设计使得LLM能够在部分可观测环境中保持贝尔曼最优性，解决了传统LLM在处理历史信息时的局限性。与现有方法相比，BSE提供了明确的信念状态，从而提高了决策的准确性。

关键设计：BSE的设计包括四个基本公理，确保信念状态的一致性。实验中通过十个有针对性的消融实验验证了各个架构选择的贡献，确保了结果的普适性。具体的参数设置和损失函数设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BSE增强的代理在Tiger POMDP和红队攻击图任务中，相较于六个基线模型，任务回报提高了显著的百分比，信念校准和决策一致性也得到了显著改善，验证了BSE的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括机器人决策、智能代理和游戏AI等。通过增强LLM在部分可观测环境中的决策能力，BSE可以为复杂任务提供更可靠的解决方案，提升智能系统的自主性和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model agents produce fluent action sequences across a wide range of tasks, yet they fail in characteristic ways once the environment becomes partially observable. Ambiguous feedback pushes them into premature commitments. A single informative observation can collapse their uncertainty onto the wrong hypothesis. Policies drift as the history grows. We trace these symptoms to a common structural cause. An LLM agent, as commonly deployed, is a history-conditioned policy with no explicit belief over hidden state. We propose an architectural fix. The Belief-State Engine (BSE) is an inference module placed outside the LLM. It maintains a Bayesian posterior over the latent states of a given POMDP (Partially Observable Markov Decision Process) model, and at each decision step it exposes only that posterior to the LLM. The raw action-observation log is not shown. We set out a minimal four-axiom specification of what a belief-consistent internal state must satisfy, and prove that the LLM paired with the BSE is a sound Markov policy on the belief MDP induced by the underlying POMDP. It therefore inherits the Bellman optimality guarantees of classical POMDP theory, provided the LLM is never exposed to the raw history. We evaluate the architecture on the Tiger POMDP and a red-team attack-graph task, against six baselines: a reactive LLM, Chain-of-Thought, ReAct, a natural-language belief tracker, QMDP, and POMCP. Across both domains, the BSE-augmented agent improves task return, belief calibration, and decision consistency. Ten targeted ablations isolate the contribution of each architectural choice confirms that the effect is not specific to any one model. Code, environment specifications, prompt templates, and seed logs accompany this paper.