Agent-Based Detection and Resolution of Incompleteness and Ambiguity in Interactions with Large Language Models
作者: Riya Naik, Ashwin Srinivasan, Swati Agarwal, Estrid He
分类: cs.AI, cs.CL, cs.IR
发布日期: 2025-07-04
备注: 14 pages. arXiv admin note: text overlap with arXiv:2503.17936
💡 一句话要点
提出基于Agent的架构，自动检测并解决LLM问答系统中问题的不完整性和歧义性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM问答系统 Agent架构 不完整性检测 歧义性解决 ReAct Agent
📋 核心要点
- 现有LLM问答系统在处理复杂问题时，需要多次交互澄清上下文，过程繁琐且效率低下。
- 提出一种基于Agent的架构，通过Agent自动检测和解决问题中的不完整性和歧义性，减少人工干预。
- 实验结果表明，该方法能够缩短交互长度，提高答案质量，并提供对问题缺陷的可解释性解决方案。
📝 摘要（中文）
本文研究了使用基于Agent的架构来增强基于LLM的问答系统，使其具备额外的推理能力。通过LLM驱动的Agent实现的转换器，能够自动解决问题中潜在的不完整性或歧义性。研究针对包含不同程度缺陷的基准数据集，使用GPT-3.5-Turbo和Llama-4-Scout等LLM，配备专门检测和解决不完整性和歧义性的Agent。这些Agent被实现为零样本ReAct Agent，模型在分类、解决和回答三个动作间进行选择。实验结果表明，使用Agent的转换器能够缩短与人类的交互长度，提高答案质量，并对问题中的缺陷进行可解释的解决。但也发现，这可能导致更多的LLM调用和延迟增加。在测试的数据集上，除非问题已经包含足够的上下文，否则Agent带来的好处大于成本。表明基于Agent的方法可以成为利用LLM能力开发更强大的问答系统的有效机制。
🔬 方法详解
问题定义：论文旨在解决LLM在问答系统中遇到的问题不完整和歧义性问题。现有方法通常需要用户进行多次交互来澄清问题，导致效率低下和用户体验不佳。这些问题可能源于问题本身缺乏必要的上下文信息，或者存在多种可能的解释。
核心思路：核心思路是引入Agent来模拟人类的推理过程，自动检测问题中的不完整性和歧义性，并尝试在回答问题之前解决这些问题。通过将问题分解为分类、解决和回答三个步骤，Agent能够更有效地处理复杂问题，并减少对用户额外输入的依赖。
技术框架：整体架构包含LLM和Agent两部分。Agent被实现为零样本ReAct Agent，能够根据当前状态选择执行分类、解决或回答动作。分类动作判断问题是否完整、是否存在歧义；解决动作尝试通过推理补充缺失信息或消除歧义；回答动作则基于已解决的问题给出答案。整个流程是一个迭代过程，Agent会根据LLM的输出来决定下一步的动作。
关键创新：关键创新在于将Agent引入LLM问答系统，使其具备自动检测和解决问题缺陷的能力。与传统的单轮问答系统相比，该方法能够更好地处理复杂问题，并减少对用户额外输入的依赖。此外，ReAct Agent的使用使得Agent能够进行更灵活的推理和决策。
关键设计：Agent的核心设计在于其动作选择机制。Agent需要根据当前状态选择合适的动作，以最大化最终的回答质量。论文中使用了零样本学习的方法来训练Agent，使其能够根据问题的上下文信息和LLM的输出来进行决策。此外，论文还针对不同的LLM（GPT-3.5-Turbo和Llama-4-Scout）进行了实验，并比较了它们在不同数据集上的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用Agent的转换器能够显著缩短与人类的交互长度，提高答案质量，并提供对问题缺陷的可解释性解决方案。具体而言，在测试的数据集上，Agent能够有效地检测和解决问题中的不完整性和歧义性，从而提高LLM的回答准确率。尽管引入Agent会增加LLM的调用次数和延迟，但在大多数情况下，其带来的好处大于成本。
🎯 应用场景
该研究成果可应用于各种需要人机交互的问答系统，例如智能客服、虚拟助手、教育辅导等。通过自动解决问题中的不完整性和歧义性，可以提高问答系统的效率和用户体验，减少人工干预的需求。未来，该技术还可以扩展到其他自然语言处理任务中，例如文本摘要、机器翻译等。
📄 摘要（原文）
Many of us now treat LLMs as modern-day oracles asking it almost any kind of question. However, consulting an LLM does not have to be a single turn activity. But long multi-turn interactions can get tedious if it is simply to clarify contextual information that can be arrived at through reasoning. In this paper, we examine the use of agent-based architecture to bolster LLM-based Question-Answering systems with additional reasoning capabilities. We examine the automatic resolution of potential incompleteness or ambiguities in questions by transducers implemented using LLM-based agents. We focus on several benchmark datasets that are known to contain questions with these deficiencies to varying degrees. We equip different LLMs (GPT-3.5-Turbo and Llama-4-Scout) with agents that act as specialists in detecting and resolving deficiencies of incompleteness and ambiguity. The agents are implemented as zero-shot ReAct agents. Rather than producing an answer in a single step, the model now decides between 3 actions a) classify b) resolve c) answer. Action a) decides if the question is incomplete, ambiguous, or normal. Action b) determines if any deficiencies identified can be resolved. Action c) answers the resolved form of the question. We compare the use of LLMs with and without the use of agents with these components. Our results show benefits of agents with transducer 1) A shortening of the length of interactions with human 2) An improvement in the answer quality and 3) Explainable resolution of deficiencies in the question. On the negative side we find while it may result in additional LLM invocations and in some cases, increased latency. But on tested datasets, the benefits outweigh the costs except when questions already have sufficient context. Suggesting the agent-based approach could be a useful mechanism to harness the power of LLMs to develop more robust QA systems.