An Empirical Study of the Role of Incompleteness and Ambiguity in Interactions with Large Language Models

📄 arXiv: 2503.17936v1 📥 PDF

作者: Riya Naik, Ashwin Srinivasan, Estrid He, Swati Agarwal

分类: cs.CL, cs.AI

发布日期: 2025-03-23

💡 一句话要点

研究不完整性和歧义性对大语言模型交互的影响，提出神经符号框架建模多轮问答。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮交互 不完整性 歧义性 神经符号框架 问答系统 人机交互

📋 核心要点

  1. 大型语言模型在人机交互中面临不完整和模棱两可的问题，导致单轮问答效果不佳，需要多轮交互。
  2. 提出神经符号框架，建模人与LLM智能体之间的交互，将不完整性和歧义性定义为交互消息中可推导的属性。
  3. 实验结果表明，多轮交互对不完整或模棱两可问题的数据集至关重要，增加交互轮数能有效降低不完整性和歧义性。

📝 摘要（中文）

本文旨在研究与大型语言模型（LLM）进行多轮交互以成功解答问题或得出问题无法解答的必要条件。我们提出了一个神经符号框架，用于建模人与LLM智能体之间的交互。通过该框架，我们将问题中的不完整性和歧义性定义为可从交互中交换的消息中推导出的属性。我们提供了基准问题的结果，其中答案的正确性取决于问题是否表现出不完整性或歧义性（根据我们识别的属性）。结果表明，对于具有较高比例的不完整或模棱两可问题的数据集，通常需要多轮交互；并且增加交互长度具有减少不完整性或歧义性的效果。结果还表明，我们对不完整性和歧义性的度量可以作为表征LLM在问答问题上交互的有用工具。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理自然语言问答时，由于问题本身的不完整性和歧义性，导致单轮交互难以获得正确答案的问题。现有方法通常依赖于单轮问答，无法有效处理需要上下文信息或消除歧义的问题，导致答案准确率下降。

核心思路：论文的核心思路是通过建模人与LLM之间的多轮交互过程，显式地识别和处理问题中的不完整性和歧义性。通过多轮对话，LLM可以逐步获取缺失的信息，澄清歧义，从而提高答案的准确性。这种方法模拟了人类在对话中澄清问题的方式。

技术框架：论文提出了一个神经符号框架，用于建模人与LLM智能体之间的交互。该框架包含以下主要模块：1) 问题编码器：将问题编码为向量表示。2) LLM智能体：负责生成答案或提出澄清问题。3) 交互管理器：负责协调人与LLM之间的交互，判断是否需要进行下一轮交互。4) 不完整性和歧义性检测器：根据交互历史，判断问题中是否存在不完整性和歧义性。整体流程是：用户提出问题，问题编码器将其编码，LLM智能体尝试回答，交互管理器根据不完整性和歧义性检测器的结果，决定是否需要进行下一轮交互。

关键创新：论文最重要的技术创新点在于提出了基于交互历史的不完整性和歧义性度量方法。该方法能够动态地评估问题中的不完整性和歧义性，并指导LLM进行多轮交互，从而提高答案的准确性。与现有方法相比，该方法能够更好地处理需要上下文信息或消除歧义的问题。

关键设计：论文的关键设计包括：1) 使用Transformer模型作为问题编码器和LLM智能体。2) 使用强化学习训练交互管理器，使其能够根据不完整性和歧义性度量结果，选择最佳的交互策略。3) 定义了不完整性和歧义性的形式化度量，例如，不完整性可以定义为需要补充的信息量，歧义性可以定义为存在多种可能的解释。

📊 实验亮点

实验结果表明，对于具有较高比例的不完整或模棱两可问题的数据集，多轮交互显著提高了答案的准确性。增加交互长度能够有效降低不完整性和歧义性。论文提出的不完整性和歧义性度量方法能够有效表征LLM在问答问题上的交互。

🎯 应用场景

该研究成果可应用于智能客服、问答系统、教育辅导等领域。通过多轮交互，系统能够更好地理解用户意图，提供更准确、更个性化的服务。未来，该技术有望应用于更复杂的对话场景，例如人机协作、智能决策等。

📄 摘要（原文）

Natural language as a medium for human-computer interaction has long been anticipated, has been undergoing a sea-change with the advent of Large Language Models (LLMs) with startling capacities for processing and generating language. Many of us now treat LLMs as modern-day oracles, asking it almost any kind of question. Unlike its Delphic predecessor, consulting an LLM does not have to be a single-turn activity (ask a question, receive an answer, leave); and -- also unlike the Pythia -- it is widely acknowledged that answers from LLMs can be improved with additional context. In this paper, we aim to study when we need multi-turn interactions with LLMs to successfully get a question answered; or conclude that a question is unanswerable. We present a neural symbolic framework that models the interactions between human and LLM agents. Through the proposed framework, we define incompleteness and ambiguity in the questions as properties deducible from the messages exchanged in the interaction, and provide results from benchmark problems, in which the answer-correctness is shown to depend on whether or not questions demonstrate the presence of incompleteness or ambiguity (according to the properties we identify). Our results show multi-turn interactions are usually required for datasets which have a high proportion of incompleteness or ambiguous questions; and that that increasing interaction length has the effect of reducing incompleteness or ambiguity. The results also suggest that our measures of incompleteness and ambiguity can be useful tools for characterising interactions with an LLM on question-answeringproblems