Tree of Clarifications: Answering Ambiguous Questions with Retrieval-Augmented Large Language Models

📄 arXiv: 2310.14696v1 📥 PDF

作者: Gangwoo Kim, Sungdong Kim, Byeongguk Jeon, Joonsuk Park, Jaewoo Kang

分类: cs.CL

发布日期: 2023-10-23

备注: Accepted to EMNLP 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出树状澄清框架以解决模糊问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模糊问题 开放域问答 树状澄清 信息检索 长篇回答 少量示例提示 知识整合

📋 核心要点

  1. 现有方法在处理模糊问题时，难以全面考虑多维度的模糊性和相应知识的收集。
  2. 本文提出的树状澄清框架通过递归构建澄清树，利用外部知识生成长篇回答，解决了模糊问题的多重解释。
  3. 实验结果表明，ToC在少量示例设置下超越了现有基线，并在多个指标上表现优异。

📝 摘要（中文）

在开放域问答中，问题常常存在模糊性，导致多种解释。现有方法虽然能识别模糊问题的所有可能解释并生成长篇回答，但在处理多维度模糊性和收集相应知识方面仍面临挑战。为此，本文提出了一种新颖的框架——树状澄清（ToC），通过少量示例提示结合外部知识，递归构建模糊问题的澄清树，并利用该树生成长篇回答。ToC在ASQA的少量示例设置中超越了现有基线，并在Disambig-F1和Disambig-ROUGE指标上超过了在整个训练集上训练的完全监督基线。

🔬 方法详解

问题定义：本文旨在解决开放域问答中模糊问题的多重解释问题。现有方法虽然能生成综合回答，但在处理多维度模糊性和知识收集上存在不足。

核心思路：论文提出的树状澄清框架（ToC）通过递归构建澄清树，利用少量示例提示和外部知识，系统性地处理模糊问题的不同解释，从而生成全面的长篇回答。

技术框架：ToC的整体架构包括两个主要模块：首先，通过少量示例提示识别模糊问题的所有可能解释；其次，基于澄清树生成针对每个解释的长篇回答。

关键创新：ToC的主要创新在于其递归构建澄清树的能力，能够有效整合多维度的模糊性处理，与传统方法相比，显著提升了回答的全面性和准确性。

关键设计：在设计上，ToC采用了少量示例提示技术，结合外部知识库进行信息检索，确保生成的回答不仅全面而且信息丰富。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，ToC在ASQA数据集的少量示例设置中，超越了现有的基线模型，尤其在Disambig-F1和Disambig-ROUGE指标上表现优异，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、客户服务自动化以及教育领域的智能辅导工具。通过有效处理模糊问题，ToC能够提升用户体验，减少用户澄清问题的需求，具有广泛的实际价值和影响力。

📄 摘要（原文）

Questions in open-domain question answering are often ambiguous, allowing multiple interpretations. One approach to handling them is to identify all possible interpretations of the ambiguous question (AQ) and to generate a long-form answer addressing them all, as suggested by Stelmakh et al., (2022). While it provides a comprehensive response without bothering the user for clarification, considering multiple dimensions of ambiguity and gathering corresponding knowledge remains a challenge. To cope with the challenge, we propose a novel framework, Tree of Clarifications (ToC): It recursively constructs a tree of disambiguations for the AQ -- via few-shot prompting leveraging external knowledge -- and uses it to generate a long-form answer. ToC outperforms existing baselines on ASQA in a few-shot setup across the metrics, while surpassing fully-supervised baselines trained on the whole training set in terms of Disambig-F1 and Disambig-ROUGE. Code is available at https://github.com/gankim/tree-of-clarifications.