MultiHoax: A Dataset of Multi-hop False-Premise Questions

📄 arXiv: 2506.00264v2 📥 PDF

作者: Mohammadamin Shafiei, Hamidreza Saffari, Nafise Sadat Moosavi

分类: cs.CL

发布日期: 2025-05-30 (更新: 2025-06-04)

备注: accepted at ACL Findings 2025

💡 一句话要点

提出MultiHoax数据集，用于评估LLM在多跳推理中对错误前提的检测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多跳推理 错误前提检测 大型语言模型 数据集 知识推理

📋 核心要点

  1. 现有基准测试主要关注单跳推理中的错误前提检测，忽略了现实世界中复杂的多跳推理场景。
  2. MultiHoax数据集旨在评估LLM在多跳推理中识别和处理错误前提的能力，从而提高模型的可靠性。
  3. 实验结果表明，现有LLM在MultiHoax数据集上表现不佳，突显了模型在复杂推理中检测错误前提的不足。

📝 摘要（中文）

随着大型语言模型越来越多地部署在高风险领域，它们检测错误假设和进行批判性推理的能力对于确保可靠的输出至关重要。错误前提问题（FPQ）通过暴露有缺陷的假设导致不正确响应的情况，成为一种重要的评估方法。虽然现有的基准侧重于单跳FPQ，但现实世界的推理通常需要多跳推理，模型必须验证多个推理步骤之间的一致性，而不是依赖于表面线索。为了弥补这一差距，我们引入了MultiHoax，这是一个用于评估LLM在复杂的多步骤推理任务中处理错误前提能力的基准。我们的数据集涵盖七个国家和十个不同的知识类别，使用维基百科作为主要的知识来源，以实现跨地区的实况推理。实验表明，最先进的LLM难以检测不同国家、知识类别和多跳推理类型中的错误前提，突出了需要改进错误前提检测和LLM中更强大的多跳推理能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在多跳推理过程中对错误前提的检测能力不足的问题。现有的错误前提问题（FPQ）基准主要集中在单跳推理上，无法充分评估LLM在更复杂的现实场景中的推理能力。因此，需要一个能够评估LLM在多跳推理中识别和处理错误前提的新基准。

核心思路：论文的核心思路是构建一个包含多跳推理步骤的错误前提问题数据集，即MultiHoax。通过要求LLM在多个推理步骤中验证信息的一致性，从而考察其对错误前提的检测能力。这种方法模拟了现实世界中复杂的推理场景，能够更全面地评估LLM的推理能力。

技术框架：MultiHoax数据集的构建主要包括以下几个步骤：1) 选择知识来源：使用维基百科作为主要的知识来源，涵盖七个国家和十个不同的知识类别。2) 构建问题：设计需要多跳推理才能回答的问题，并在其中引入错误的前提。3) 验证答案：确保正确答案需要基于正确的推理路径，而错误前提会导致错误的答案。4) 数据集划分：将数据集划分为训练集、验证集和测试集，用于训练和评估LLM。

关键创新：MultiHoax数据集的关键创新在于其多跳推理的特性。与现有的单跳FPQ基准相比，MultiHoax要求LLM在多个推理步骤中验证信息的一致性，从而更全面地评估其推理能力。此外，MultiHoax数据集涵盖了多个国家和知识类别，增加了数据集的多样性和泛化性。

关键设计：MultiHoax数据集的关键设计包括：1) 多跳推理问题的设计：问题需要包含多个推理步骤，每个步骤都需要基于前一个步骤的结论。2) 错误前提的引入：错误前提需要巧妙地融入到问题中，使得LLM难以通过表面线索来识别。3) 数据集的规模：数据集需要足够大，以保证训练和评估的有效性。4) 知识类别的选择：选择具有代表性的知识类别，以保证数据集的覆盖范围。

📊 实验亮点

实验结果表明，现有的最先进LLM在MultiHoax数据集上的表现不佳，难以有效地检测多跳推理中的错误前提。这表明LLM在复杂推理能力方面仍有很大的提升空间，需要进一步的研究和改进。该数据集的发布为研究人员提供了一个新的评估工具，可以促进LLM在推理能力方面的研究进展。

🎯 应用场景

该研究成果可应用于提升大型语言模型在信息检索、问答系统、对话系统等领域的可靠性和准确性。通过提高模型对错误前提的检测能力，可以减少模型产生错误或误导性信息的风险，从而提高用户信任度和满意度。此外，该数据集可作为评估和改进LLM推理能力的基准，推动相关技术的发展。

📄 摘要（原文）

As Large Language Models are increasingly deployed in high-stakes domains, their ability to detect false assumptions and reason critically is crucial for ensuring reliable outputs. False-premise questions (FPQs) serve as an important evaluation method by exposing cases where flawed assumptions lead to incorrect responses. While existing benchmarks focus on single-hop FPQs, real-world reasoning often requires multi-hop inference, where models must verify consistency across multiple reasoning steps rather than relying on surface-level cues. To address this gap, we introduce MultiHoax, a benchmark for evaluating LLMs' ability to handle false premises in complex, multi-step reasoning tasks. Our dataset spans seven countries and ten diverse knowledge categories, using Wikipedia as the primary knowledge source to enable factual reasoning across regions. Experiments reveal that state-of-the-art LLMs struggle to detect false premises across different countries, knowledge categories, and multi-hop reasoning types, highlighting the need for improved false premise detection and more robust multi-hop reasoning capabilities in LLMs.