Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs

📄 arXiv: 2610.32181v1 📥 PDF

作者: Seunghan Lee, Jun Seo, Junhyeok Kang, Jaehoon Lee, Sangjun Han, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, Soonyoung Lee, Wonbin Ahn

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出DIVA以解决LLM信息获取中的决策效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息获取 决策支持 成本效益 后悔值 优化算法 不确定性评估

📋 核心要点

  1. 现有LLM在信息获取中常出现不必要的检查，导致决策效率低下和成本浪费。
  2. DIVA方法通过决策价值评估信息获取，允许LLM在检查成本与决策改进之间做出更明智的选择。
  3. 实验表明，DIVA-U在真实数据上相较于所有基线模型具有更低的后悔值，DIVA在合成场景中将最佳基线的后悔值降低了75%。

📝 摘要（中文）

大型语言模型（LLMs）在不完整信息下支持决策的应用日益增多，但它们常陷入信息陷阱，导致不必要的检查和成本。为此，本文提出了决策信息价值获取（DIVA）方法，旨在优化信息获取过程。DIVA允许LLM通过简短的数值问题指定小型决策模型，并根据候选检查的决策改进价值来评估其成本效益。其变体DIVA-U进一步考虑了LLM对检查效果的不确定估计。实验结果显示，DIVA-U在多个领域和20个LLM上表现出更低的后悔值，尤其在证据充足时及时停止检查。

🔬 方法详解

问题定义：本文旨在解决LLM在信息获取过程中因不必要的检查而导致的决策效率低下问题。现有方法未能有效评估信息的实际价值，导致决策成本增加。

核心思路：DIVA方法通过构建一个小型决策模型，允许LLM评估每个检查对决策结果的影响，从而优化信息获取过程。该设计旨在减少不必要的检查，提升决策效率。

技术框架：DIVA的整体流程包括两个主要模块：1) 通过数值问题构建决策模型，2) 评估每个候选检查的价值，直到没有检查的价值超过其成本。DIVA-U在此基础上增加了对检查效果不确定性的考虑。

关键创新：DIVA的核心创新在于引入决策价值评估机制，使得LLM能够在信息获取过程中更有效地判断何时停止检查。这一方法与传统的盲目信息获取策略形成鲜明对比。

关键设计：DIVA方法不需要训练，适用于任何LLM。关键参数包括决策模型的构建方式和候选检查的价值评估标准，确保模型在不同场景下的适用性和灵活性。

📊 实验亮点

实验结果显示，DIVA-U在20个LLM上实现了更低的后悔值，尤其在真实数据中表现优异。DIVA在合成场景中将最佳基线的后悔值降低了75%，展示了其在信息获取效率上的显著提升。

🎯 应用场景

DIVA方法在多个领域具有广泛的应用潜力，包括医疗决策支持、金融分析和智能客服等。通过优化信息获取过程，DIVA能够显著提升决策效率，降低成本，未来可能推动更智能的决策系统的发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to support decisions under incomplete information, where deciding what to look up and when to stop matters as much as the final answer. However, LLMs fall into an information trap: They pay for checks, i.e., costly pieces of evidence, that cannot change their decision or are not worth their cost, and they keep asking when the evidence is already sufficient. To this end, we propose Decision-Informed Value-of-information Acquisition (DIVA), a simple yet effective procedure for LLM information seeking based on the decision value of evidence. DIVA 1) lets the LLM specify a small decision model, i.e., how likely a bad outcome is and how each check would shift this probability, through short numeric questions and 2) values each candidate check by how much its imagined outcomes improve the decision net of its cost, stopping when no check is worth its cost. Its variant, DIVA-U, further accounts for the LLM's uncertain estimates of how strongly each check shifts this probability. DIVA is training-free and applies to any LLM. Across four domains and 20 LLMs, DIVA-U has lower regret, i.e., value lost relative to the best possible decision, than every LLM baseline on real-world data, mainly by stopping once evidence suffices, and DIVA cuts the regret of the best LLM baseline by 75% in synthetic scenarios where every check's reliability is given. Code: github.com/seunghan96/diva.