Information Seeking for Robust Decision Making under Partial Observability
作者: Djengo Cyun-Jyun Fang, Tsung-Wei Ke
分类: cs.AI, cs.CL, cs.RO
发布日期: 2025-10-02
备注: The project page is available at https://infoseekerllm.github.io
💡 一句话要点
提出InfoSeeker，通过信息搜寻增强LLM在部分可观测环境下的决策鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信息搜寻 大型语言模型 部分可观测环境 决策规划 鲁棒性
📋 核心要点
- 现有LLM智能体在处理观测不确定性时，往往忽略了内部动态与真实环境的差异，导致决策不鲁棒。
- InfoSeeker通过集成任务导向规划与信息搜寻，主动验证理解、检测环境变化，从而校准内部动态。
- 实验表明，InfoSeeker在部分可观测环境中性能提升74%，且具有良好的泛化性和样本效率。
📝 摘要（中文）
在信息不完整和动态环境噪声大的实际环境中，显式的信息搜寻对于人类解决问题至关重要。当无法直接观察到真实环境状态时，人类会寻求信息来更新其内部动态，并为未来的决策提供依据。虽然现有的大型语言模型（LLM）规划智能体已经解决了观测不确定性问题，但它们常常忽略其内部动态与实际环境之间的差异。我们引入了信息搜寻决策规划器（InfoSeeker），这是一个LLM决策框架，它将面向任务的规划与信息搜寻相结合，以校准内部动态，并在智能体观测和环境动态的不确定性下做出最优决策。InfoSeeker提示LLM主动收集信息，通过规划行动来验证其理解、检测环境变化或在生成或修改面向任务的计划之前测试假设。为了评估InfoSeeker，我们引入了一个新的基准测试套件，其中包含具有不完整观测和不确定动态的部分可观测环境。实验表明，InfoSeeker的性能比现有方法提高了74%，且不牺牲样本效率。此外，InfoSeeker可以推广到不同的LLM，并且在机器人操作和Web导航等已建立的基准测试中优于基线方法。这些发现强调了紧密集成规划和信息搜寻对于在部分可观测环境中实现鲁棒行为的重要性。
🔬 方法详解
问题定义：论文旨在解决部分可观测环境下，LLM智能体由于内部状态与真实环境不一致而导致的决策不鲁棒问题。现有方法主要关注观测不确定性，但忽略了内部动态与环境动态的差异，导致智能体无法有效适应变化的环境。
核心思路：论文的核心思路是让LLM智能体主动进行信息搜寻，通过执行特定的动作来验证其对环境的理解，检测环境的变化，并测试其假设。这种主动的信息获取过程可以帮助智能体校准其内部动态，使其与真实环境保持一致，从而做出更明智的决策。
技术框架：InfoSeeker框架包含以下几个主要阶段：1) 任务导向规划：LLM根据当前状态和目标生成初步的行动计划。2) 信息搜寻规划：LLM评估当前知识的置信度，并规划信息搜寻动作来验证或更新其理解。3) 行动执行：执行任务导向或信息搜寻动作。4) 状态更新：根据观察结果更新内部状态，并重复上述过程。
关键创新：InfoSeeker的关键创新在于将信息搜寻作为决策过程中的一个显式步骤，而不是隐式地依赖于环境反馈。通过主动规划信息搜寻动作，智能体可以更有效地减少不确定性，并提高决策的鲁棒性。与现有方法相比，InfoSeeker能够更好地适应动态变化的环境，并做出更优的决策。
关键设计：InfoSeeker使用LLM作为核心决策引擎，通过特定的prompt工程来引导LLM进行任务导向规划和信息搜寻规划。信息搜寻规划的目标是最大化信息增益，可以使用例如互信息等指标来衡量。具体的prompt设计和信息增益的计算方法在论文中可能包含更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InfoSeeker在新的部分可观测环境基准测试中，相比现有方法取得了74%的绝对性能提升。此外，InfoSeeker还展现了良好的泛化能力，在机器人操作和Web导航等现有基准测试中也优于基线方法。这些结果表明，InfoSeeker在提高LLM智能体在不确定环境下的决策鲁棒性方面具有显著优势。
🎯 应用场景
InfoSeeker具有广泛的应用前景，例如机器人导航、自动化客服、智能家居等领域。在这些场景中，智能体需要在不完全信息和动态变化的环境中做出决策。通过主动信息搜寻，InfoSeeker可以帮助智能体更好地理解环境，并做出更可靠的决策，从而提高系统的整体性能和用户体验。未来，该技术有望应用于更复杂的决策场景，例如医疗诊断、金融投资等。
📄 摘要（原文）
Explicit information seeking is essential to human problem-solving in practical environments characterized by incomplete information and noisy dynamics. When the true environmental state is not directly observable, humans seek information to update their internal dynamics and inform future decision-making. Although existing Large Language Model (LLM) planning agents have addressed observational uncertainty, they often overlook discrepancies between their internal dynamics and the actual environment. We introduce Information Seeking Decision Planner (InfoSeeker), an LLM decision-making framework that integrates task-oriented planning with information seeking to align internal dynamics and make optimal decisions under uncertainty in both agent observations and environmental dynamics. InfoSeeker prompts an LLM to actively gather information by planning actions to validate its understanding, detect environmental changes, or test hypotheses before generating or revising task-oriented plans. To evaluate InfoSeeker, we introduce a novel benchmark suite featuring partially observable environments with incomplete observations and uncertain dynamics. Experiments demonstrate that InfoSeeker achieves a 74% absolute performance gain over prior methods without sacrificing sample efficiency. Moreover, InfoSeeker generalizes across LLMs and outperforms baselines on established benchmarks such as robotic manipulation and web navigation. These findings underscore the importance of tightly integrating planning and information seeking for robust behavior in partially observable environments. The project page is available at https://infoseekerllm.github.io