Active Task Disambiguation with LLMs

📄 arXiv: 2502.04485v1 📥 PDF

作者: Katarzyna Kobalczyk, Nicolas Astorga, Tennison Liu, Mihaela van der Schaar

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-02-06

💡 一句话要点

提出基于LLM的主动任务消歧方法，解决现实场景中任务定义模糊问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 任务消歧 主动学习 贝叶斯实验设计 人机交互

📋 核心要点

  1. 现实场景中任务定义常常模糊不清，现有LLM难以有效处理此类问题，导致输出结果不尽人意。
  2. 论文提出主动任务消歧方法，通过LLM主动提问澄清任务细节，缩小可行解空间，提升输出质量。
  3. 实验结果表明，该方法通过主动选择问题，比仅在问题空间内推理的方法，能更有效地消除任务歧义。

📝 摘要（中文）

尽管大型语言模型(LLM)在各种基准测试中表现出色，但它们解决模糊指定问题的能力（在现实世界交互中很常见）仍未得到充分探索。为了弥补这一差距，我们正式定义了任务模糊性，并从贝叶斯实验设计的角度构建了任务消歧问题。通过提出澄清问题，LLM Agent可以获取额外的任务规范，逐步缩小可行解决方案的空间，并降低生成不令人满意输出的风险。然而，生成有效的澄清问题需要LLM Agent进行一种元认知推理，而LLM目前可能缺乏这种能力。我们提出的主动任务消歧方法使LLM Agent能够生成有针对性的问题，从而最大限度地提高信息增益。实际上，这种方法将负担从对可行解决方案空间的隐式推理转移到显式推理。经验结果表明，与仅依赖于问题空间内的推理的方法相比，这种问题选择形式可以更有效地进行任务消歧。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理模糊任务定义时表现不佳的问题。现实世界中，用户需求往往不明确，直接使用LLM可能导致生成不符合期望的输出。现有方法缺乏有效处理任务模糊性的机制，无法主动获取更多信息以明确任务目标。

核心思路：论文的核心思路是将任务消歧问题建模为贝叶斯实验设计问题。通过主动提出澄清问题，LLM Agent可以获取关于任务的额外信息，从而缩小可行解决方案的范围。这种主动提问的方式可以将隐式推理的负担转移到显式推理，使LLM能够更有效地理解用户的真实意图。

技术框架：整体框架包含以下几个主要步骤：1) 任务模糊性建模：形式化定义任务模糊性，并构建可行解决方案空间。2) 问题生成：LLM Agent根据当前对任务的理解，生成一系列可能的澄清问题。3) 问题选择：利用贝叶斯实验设计原则，选择能够最大化信息增益的问题。4) 信息更新：根据用户对问题的回答，更新对任务的理解，并缩小可行解决方案空间。5) 迭代：重复步骤2-4，直到任务定义足够明确。

关键创新：论文的关键创新在于将主动学习的思想引入到LLM的任务消歧过程中。与传统的被动式方法不同，该方法允许LLM Agent主动获取信息，从而更有效地解决任务模糊性问题。通过贝叶斯实验设计，能够选择信息量最大的问题，提高消歧效率。

关键设计：论文的关键设计包括：1) 信息增益的度量：使用互信息等指标来衡量提问所带来的信息增益。2) 问题生成策略：设计合适的prompt，引导LLM生成高质量的澄清问题。3) 可行解空间的表示：采用合适的表示方法来描述可行解决方案空间，并方便进行更新和推理。4) 迭代停止条件：设定合理的迭代停止条件，避免过度提问。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，提出的主动任务消歧方法在任务完成度和用户满意度方面均优于基线方法。具体而言，该方法能够显著减少生成不满意输出的概率，并提高任务完成的成功率。与仅依赖于问题空间内的推理的方法相比，该方法能够更有效地进行任务消歧。

🎯 应用场景

该研究成果可应用于各种人机交互场景，例如智能客服、虚拟助手、智能家居等。通过主动澄清用户意图，可以提高LLM的响应质量和用户满意度。此外，该方法还可以应用于机器人任务规划，帮助机器人更好地理解人类指令，完成复杂任务。

📄 摘要（原文）

Despite the impressive performance of large language models (LLMs) across various benchmarks, their ability to address ambiguously specified problems--frequent in real-world interactions--remains underexplored. To address this gap, we introduce a formal definition of task ambiguity and frame the problem of task disambiguation through the lens of Bayesian Experimental Design. By posing clarifying questions, LLM agents can acquire additional task specifications, progressively narrowing the space of viable solutions and reducing the risk of generating unsatisfactory outputs. Yet, generating effective clarifying questions requires LLM agents to engage in a form of meta-cognitive reasoning, an ability LLMs may presently lack. Our proposed approach of active task disambiguation enables LLM agents to generate targeted questions maximizing the information gain. Effectively, this approach shifts the load from implicit to explicit reasoning about the space of viable solutions. Empirical results demonstrate that this form of question selection leads to more effective task disambiguation in comparison to approaches relying on reasoning solely within the space of questions.