FSM: A Finite State Machine Based Zero-Shot Prompting Paradigm for Multi-Hop Question Answering

📄 arXiv: 2407.02964v1 📥 PDF

作者: Xiaochen Wang, Junqing He, Zhe yang, Yiru Wang, Xiangdi Meng, Kunhao Pan, Zhifang Sui

分类: cs.CL

发布日期: 2024-07-03

💡 一句话要点

提出基于有限状态机的零样本提示方法FSM，提升LLM在多跳问答任务上的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳问答 有限状态机 零样本学习 大型语言模型 思维链 提示学习 知识推理

📋 核心要点

  1. 现有方法在多跳问答中面临幻觉、错误传播和上下文长度限制等挑战，导致性能不佳。
  2. FSM将问题分解为多轮子问题，通过迭代处理和自我纠正，提升每一步答案的准确性。
  3. 实验表明，FSM在复杂数据集上表现优异，减轻了幻觉现象，并提高了输出格式的遵循能力。

📝 摘要（中文）

大型语言模型（LLMs）结合思维链（COT）提示在简单的自然语言推理任务中表现出令人印象深刻的能力。然而，由于幻觉、错误传播和有限的上下文长度等挑战，它们在多跳问答（MHQA）任务中表现不佳。我们提出了一种提示方法，即有限状态机（FSM），以增强LLM在复杂任务中的推理能力，并提高有效性和可信度。与COT方法不同，FSM通过迭代地将一个问题分解为多轮子问题，并及时进行自我纠正来解决MHQA，从而提高每个步骤中答案的准确性。具体而言，FSM一次处理一个子问题，并根据其当前结果和状态，以类似自动机的形式决定下一步。在基准测试上的实验表明了我们方法的有效性。虽然我们的方法在相对简单的数据集上与基线相当，但在像Musique这样的具有挑战性的数据集上表现出色。此外，这种方法减轻了幻觉现象，即使在中间推理中存在错误，也可以恢复正确的最终答案。此外，我们的方法提高了LLM遵循指定输出格式要求的能力，显著降低了答案解释的难度和重新格式化的需求。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在多跳问答（MHQA）任务中表现不佳的问题。现有方法，如思维链（COT）提示，在MHQA中容易出现幻觉、错误传播以及受到上下文长度的限制，导致最终答案的准确性下降。

核心思路：论文的核心思路是将复杂的多跳问题分解为一系列更简单的子问题，并使用有限状态机（FSM）来控制子问题的解决顺序和状态转移。通过迭代地解决子问题并进行自我纠正，FSM能够逐步逼近最终答案，并减轻错误传播的影响。

技术框架：FSM方法的核心是一个状态机，每个状态代表一个需要解决的子问题。整体流程如下：1. 接收一个多跳问题作为输入。2. 将问题分解为一系列子问题，每个子问题对应一个状态。3. 从初始状态开始，LLM根据当前状态（子问题）生成答案。4. FSM根据当前状态和LLM的答案，决定下一个状态（下一个子问题）。5. 重复步骤3和4，直到达到最终状态（得到最终答案）。

关键创新：FSM的关键创新在于其使用有限状态机来控制推理过程。与传统的COT方法相比，FSM能够更有效地管理推理过程中的状态和依赖关系，从而减少错误传播和幻觉。此外，FSM的迭代式解决问题的方式也使得LLM能够更好地利用上下文信息，并进行自我纠正。

关键设计：FSM的设计需要定义状态转移规则，即如何根据当前状态和LLM的答案来决定下一个状态。状态转移规则可以基于问题本身的结构和LLM的输出进行设计。此外，FSM还可以包含一些额外的机制，例如错误检测和纠正机制，以进一步提高答案的准确性。具体的参数设置和网络结构取决于所使用的LLM和MHQA数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FSM方法在具有挑战性的Musique数据集上表现出色，显著优于基线方法。此外，FSM能够减轻幻觉现象，即使在中间推理步骤中出现错误，也能恢复正确的最终答案。该方法还提高了LLM遵循指定输出格式的能力，降低了答案解析的难度。

🎯 应用场景

该研究成果可应用于智能客服、知识图谱问答、智能助手等领域，提升机器在复杂推理场景下的问答能力。通过降低幻觉和提高准确性，FSM有望增强人机交互的可靠性和用户体验，并促进LLM在更广泛领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) with chain-of-thought (COT) prompting have demonstrated impressive abilities on simple nature language inference tasks. However, they tend to perform poorly on Multi-hop Question Answering (MHQA) tasks due to several challenges, including hallucination, error propagation and limited context length. We propose a prompting method, Finite State Machine (FSM) to enhance the reasoning capabilities of LLM for complex tasks in addition to improved effectiveness and trustworthiness. Different from COT methods, FSM addresses MHQA by iteratively decomposing a question into multi-turn sub-questions, and self-correcting in time, improving the accuracy of answers in each step. Specifically, FSM addresses one sub-question at a time and decides on the next step based on its current result and state, in an automaton-like format. Experiments on benchmarks show the effectiveness of our method. Although our method performs on par with the baseline on relatively simpler datasets, it excels on challenging datasets like Musique. Moreover, this approach mitigates the hallucination phenomenon, wherein the correct final answer can be recovered despite errors in intermediate reasoning. Furthermore, our method improves LLMs' ability to follow specified output format requirements, significantly reducing the difficulty of answer interpretation and the need for reformatting.