ARR: Question Answering with Large Language Models via Analyzing, Retrieving, and Reasoning

📄 arXiv: 2502.04689v3 📥 PDF

作者: Yuwei Yin, Giuseppe Carenini

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-02-07 (更新: 2025-05-15)

备注: 21 pages. Code: https://github.com/YuweiYin/ARR

💡 一句话要点

提出ARR框架，通过分析、检索和推理增强大语言模型在问答任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 问答系统 信息检索 意图分析 推理 ARR框架 知识库问答

📋 核心要点

  1. 现有大语言模型在问答任务中表现出色，但仍有提升空间，尤其是在复杂推理和知识检索方面。
  2. ARR框架通过显式地分析问题意图、检索相关信息和逐步推理，模拟人类解决问题的过程。
  3. 实验结果表明，ARR在多个QA任务中显著优于基线方法，验证了其有效性和通用性。

📝 摘要（中文）

本文提出了一种直观、有效且通用的问答（QA）方法ARR，该方法显式地结合了三个关键步骤：分析问题的意图、检索相关信息以及逐步推理。值得注意的是，本文首次在QA中引入意图分析，这在ARR中起着至关重要的作用。在10个不同的QA任务上的综合评估表明，ARR始终优于基线方法。消融研究和案例研究进一步验证了ARR每个组成部分的积极贡献。此外，涉及提示设计的变化的实验表明，ARR保持其有效性，不受特定提示公式的影响。此外，跨各种模型大小、LLM系列和生成设置的广泛评估巩固了ARR的有效性、鲁棒性和通用性。

🔬 方法详解

问题定义：论文旨在提升大语言模型在问答任务中的性能。现有方法在处理需要复杂推理和外部知识的任务时存在不足，无法充分理解问题意图并有效地利用相关信息。

核心思路：ARR的核心思路是将问答过程分解为三个关键步骤：分析问题意图、检索相关信息和逐步推理。通过显式地执行这些步骤，ARR能够更好地理解问题，获取必要的知识，并进行更准确的推理，从而提高问答性能。

技术框架：ARR框架包含三个主要模块：1) 意图分析模块：分析问题的类型、范围和约束，确定需要检索的信息类型。2) 信息检索模块：根据意图分析的结果，从外部知识库或文档中检索相关信息。3) 推理模块：利用检索到的信息和问题本身，逐步进行推理，最终生成答案。整个流程是顺序执行的，每个模块的输出作为下一个模块的输入。

关键创新：ARR的关键创新在于首次在问答任务中引入了意图分析。通过显式地分析问题意图，ARR能够更准确地检索相关信息，并指导后续的推理过程。这与以往直接使用问题进行检索和推理的方法有本质区别。

关键设计：意图分析模块可以使用预训练语言模型进行微调，以识别问题的类型和关键信息。信息检索模块可以使用现有的检索模型，如BM25或基于Transformer的模型。推理模块可以使用链式思考（Chain-of-Thought）等技术，逐步生成答案。具体的参数设置和模型选择需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ARR在10个不同的QA任务中始终优于基线方法。消融研究验证了每个ARR组件的积极贡献，表明意图分析、信息检索和推理步骤都对最终性能有重要影响。此外，实验还表明ARR对提示设计具有鲁棒性，并且在不同的模型大小、LLM系列和生成设置下都表现出良好的通用性。

🎯 应用场景

ARR框架可应用于各种需要问答能力的场景，例如智能客服、知识库问答、教育辅导等。通过提高大语言模型在问答任务中的准确性和效率，ARR可以提升用户体验，降低运营成本，并促进知识的传播和应用。未来，ARR可以进一步扩展到多模态问答、开放域问答等更复杂的场景。

📄 摘要（原文）

Large language models (LLMs) have demonstrated impressive capabilities on complex evaluation benchmarks, many of which are formulated as question-answering (QA) tasks. Enhancing the performance of LLMs in QA contexts is becoming increasingly vital for advancing their development and applicability. This paper introduces ARR, an intuitive, effective, and general QA solving method that explicitly incorporates three key steps: analyzing the intent of the question, retrieving relevant information, and reasoning step by step. Notably, this paper is the first to introduce intent analysis in QA, which plays a vital role in ARR. Comprehensive evaluations across 10 diverse QA tasks demonstrate that ARR consistently outperforms the baseline methods. Ablation and case studies further validate the positive contributions of each ARR component. Furthermore, experiments involving variations in prompt design indicate that ARR maintains its effectiveness regardless of the specific prompt formulation. Additionally, extensive evaluations across various model sizes, LLM series, and generation settings solidify the effectiveness, robustness, and generalizability of ARR.