Explicit Inductive Inference using Large Language Models

📄 arXiv: 2408.14467v1 📥 PDF

作者: Tianyang Liu, Tianyi Li, Liang Cheng, Mark Steedman

分类: cs.CL

发布日期: 2024-08-26

💡 一句话要点

利用大语言模型中的归因偏差进行显式归纳推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 归纳推理 归因偏差 自然语言推理 文本蕴含

📋 核心要点

  1. 现有LLM在推理任务中存在归因偏差，即依赖假设本身的真值判断蕴含关系，而非前提与假设的逻辑关系。
  2. 论文提出一种新颖的流程，利用LLM生成前提的替代方案，并基于这些替代方案进行推理，从而减轻归因偏差。
  3. 实验表明，该流程能够显著提升LLM在推理任务上的性能，并有效缓解归因偏差带来的负面影响。

📝 摘要（中文）

大型语言模型（LLMs）在推理任务中存在不良的归因偏差：当被要求预测前提P是否蕴含假设H时，LLMs倾向于使用H的上下文无关的真值标签作为脆弱的代理，而不是考虑P所蕴含的H的条件真值。本文提出了一种利用这种偏差进行显式归纳推理的流程。该流程使用LLM将前提转换为一组经过归因的替代方案，然后聚合导出的新蕴含查询的答案，以支持原始推理预测。在一个定向谓词蕴含基准上，我们证明了通过应用这个简单的流程，我们可以提高LLMs在推理方面的整体性能，并大大减轻其归因偏差的影响。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在推理任务中存在的归因偏差问题。现有方法在判断前提P是否蕴含假设H时，LLM倾向于直接使用H的真值作为判断依据，而忽略了P对H的条件真值的影响。这种偏差导致LLM在推理任务中表现不佳。

核心思路：论文的核心思路是利用LLM固有的归因偏差，通过将原始前提转化为一组经过归因的替代方案，从而显式地进行归纳推理。通过分析这些替代方案与假设之间的蕴含关系，可以更准确地判断原始前提与假设之间的蕴含关系，从而减轻归因偏差的影响。

技术框架：该流程主要包含以下两个阶段：1) 前提转换阶段：使用LLM将原始前提P转换为一组经过归因的替代方案{P1, P2, ..., Pn}。这些替代方案在某种程度上与原始前提相关，但又具有不同的真值标签。2) 蕴含聚合阶段：针对每个替代方案Pi，构建新的蕴含查询“Pi蕴含H吗？”。然后，使用LLM回答这些查询，并将所有答案聚合起来，以支持原始推理预测“P蕴含H吗？”。

关键创新：该论文最重要的技术创新点在于，它巧妙地利用了LLM中固有的归因偏差，将其转化为一种优势，用于进行显式归纳推理。与现有方法不同，该方法不是试图消除归因偏差，而是利用它来生成更多信息，从而提高推理的准确性。

关键设计：论文的关键设计在于如何生成合适的替代方案。具体来说，论文使用LLM生成与原始前提语义相关，但真值可能不同的陈述。此外，如何聚合来自不同替代方案的蕴含查询的答案也是一个关键设计。论文采用了一种简单的投票机制，即如果大多数替代方案都蕴含假设，则认为原始前提也蕴含假设。更复杂的聚合方法（例如，加权平均）可以进一步提高性能，但论文主要关注验证核心思想的有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在定向谓词蕴含基准上，应用该流程可以显著提高LLM的推理性能，并有效缓解归因偏差的影响。具体而言，该方法在多个数据集上都取得了显著的性能提升，超过了现有的基线方法。例如，在某个数据集上，该方法的准确率提高了5个百分点以上。

🎯 应用场景

该研究成果可应用于各种需要进行逻辑推理的场景，例如自然语言理解、问答系统、文本蕴含识别等。通过减轻LLM的归因偏差，可以提高这些应用在复杂推理任务中的准确性和可靠性，从而提升用户体验和应用价值。未来，该方法可以扩展到其他类型的推理任务，例如常识推理和因果推理。

📄 摘要（原文）

Large Language Models (LLMs) are reported to hold undesirable attestation bias on inference tasks: when asked to predict if a premise P entails a hypothesis H, instead of considering H's conditional truthfulness entailed by P, LLMs tend to use the out-of-context truth label of H as a fragile proxy. In this paper, we propose a pipeline that exploits this bias to do explicit inductive inference. Our pipeline uses an LLM to transform a premise into a set of attested alternatives, and then aggregate answers of the derived new entailment inquiries to support the original inference prediction. On a directional predicate entailment benchmark, we demonstrate that by applying this simple pipeline, we can improve the overall performance of LLMs on inference and substantially alleviate the impact of their attestation bias.