BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design

📄 arXiv: 2508.21184v2 📥 PDF

作者: Deepro Choudhury, Sinead Williamson, Adam Goliński, Ning Miao, Freddie Bickford Smith, Michael Kirchhof, Yizhe Zhang, Tom Rainforth

分类: cs.CL, cs.AI, stat.ML

发布日期: 2025-08-28 (更新: 2025-10-18)

💡 一句话要点

提出BED-LLM以提升大语言模型的信息收集能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 贝叶斯实验设计 信息收集 多轮对话 智能交互 用户偏好推断 预期信息增益

📋 核心要点

  1. 现有方法在信息收集时缺乏智能和适应性，难以有效与用户进行多轮交互。
  2. 论文提出的BED-LLM通过序列贝叶斯实验设计，迭代选择问题以最大化信息增益，提升了LLMs的交互能力。
  3. 实验结果显示，BED-LLM在多项测试中表现优异，相较于传统方法性能提升显著。

📝 摘要（中文）

本文提出了一种通用方法，通过序列贝叶斯实验设计（BED）框架，提升大语言模型（LLMs）从用户或外部源智能且自适应地收集信息的能力。这种方法使LLMs能够作为有效的多轮对话代理，与外部环境进行交互。我们称之为BED-LLM，基于迭代选择问题或查询，以最大化关于任务的预期信息增益（EIG）。我们展示了如何以原则性的方法构建和估计EIG，并提供了关键决策的详细见解。实验结果表明，BED-LLM在20个问题游戏和主动推断用户偏好方面，相较于直接提示LLM和其他自适应设计策略，显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型在信息收集过程中智能性不足的问题，现有方法往往无法有效适应用户需求，导致信息获取效率低下。

核心思路：BED-LLM的核心思路是通过序列贝叶斯实验设计，迭代选择问题以最大化预期信息增益（EIG），从而提高模型的交互能力和信息收集效率。

技术框架：该方法的整体架构包括问题选择模块、信息收集模块和反馈更新模块。首先，根据已有反馈选择最优问题，其次收集用户响应，最后更新模型以优化后续问题选择。

关键创新：BED-LLM的创新在于将贝叶斯实验设计与大语言模型结合，形成了一种新的信息收集策略，显著提升了模型的适应性和智能性。

关键设计：在设计过程中，关键参数包括信息增益的计算方法、模型更新策略以及问题选择的优化算法，这些设计确保了模型在多轮对话中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BED-LLM在20个问题游戏中表现优异，相较于直接提示LLM，其性能提升幅度达到了显著的水平，尤其在主动推断用户偏好方面，显示出更高的准确性和效率。

🎯 应用场景

该研究的潜在应用场景包括智能客服、个性化推荐系统和人机交互等领域。通过提升大语言模型的信息收集能力，能够更好地满足用户需求，提供更精准的服务，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We propose a general-purpose approach for improving the ability of Large Language Models (LLMs) to intelligently and adaptively gather information from a user or other external source using the framework of sequential Bayesian experimental design (BED). This enables LLMs to act as effective multi-turn conversational agents and interactively interface with external environments. Our approach, which we call BED-LLM (Bayesian Experimental Design with Large Language Models), is based on iteratively choosing questions or queries that maximize the expected information gain (EIG) about the task of interest given the responses gathered previously. We show how this EIG can be formulated (and then estimated) in a principled way using a probabilistic model derived from the LLM's predictive distributions and provide detailed insights into key decisions in its construction and updating procedure. We find that BED-LLM achieves substantial gains in performance across a wide range of tests based on the 20 questions game and using the LLM to actively infer user preferences, compared to direct prompting of the LLM and other adaptive design strategies.