Lost in the Logic: An Evaluation of Large Language Models' Reasoning Capabilities on LSAT Logic Games

📄 arXiv: 2409.19012v1 📥 PDF

作者: Saumya Malik

分类: cs.CL, cs.AI

发布日期: 2024-09-23

备注: Bachelor's thesis. Dataset available on huggingface: https://huggingface.co/datasets/saumyamalik/lsat_logic_games-analytical_reasoning

💡 一句话要点

评估大语言模型在LSAT逻辑游戏中的推理能力，并提出改进方案。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 逻辑推理 LSAT逻辑游戏 Reflexion 提示工程

📋 核心要点

  1. 现有大语言模型在复杂逻辑推理任务中表现不足，尤其是在需要多步骤推理和规则应用的场景下。
  2. 论文核心在于探索不同的提示框架，特别是借鉴Reflexion的思想，使模型能够反思并修正自身的逻辑错误。
  3. 实验结果表明，改进后的提示策略能显著提升GPT-4和GPT-3.5在LSAT逻辑游戏上的准确率，验证了模型的逻辑修正潜力。

📝 摘要（中文）

本研究评估了大语言模型（LLMs）在法学院入学考试（LSAT）逻辑游戏部分的表现。该部分因其复杂的逻辑推理任务，成为评估LLMs处理高难度逻辑推理能力的宝贵数据来源。研究构建了一个LSAT逻辑游戏及其相关元数据的数据库，并在思维链（Chain-of-Thought）提示设置下广泛评估了LLMs的性能。鉴于在此设置下的表现不佳，研究在数据集的一个较小子集上探索了其他提示框架，并借鉴了Reflexion的思想。这使得GPT-4的准确率显著提高到70%，GPT-3.5的准确率提高到46%，突显了LLMs修正逻辑错误的能力，尽管最初的表现较弱。最后，研究分析了模型在不同类型的逻辑游戏上的表现差异，以及通过人工标注观察到的逻辑错误类型，从而提供了关于LLMs逻辑推理能力的详细见解。

🔬 方法详解

问题定义：论文旨在评估和提升大语言模型在解决LSAT逻辑游戏问题上的能力。现有方法，如简单的思维链提示，在处理此类复杂逻辑推理任务时表现不佳，无法充分发挥LLM的潜力。痛点在于模型难以有效地应用规则、进行假设推理和避免逻辑错误。

核心思路：论文的核心思路是借鉴Reflexion框架，使LLM能够反思其推理过程，识别并修正错误。通过迭代地生成解决方案、评估结果并反思错误，模型可以逐步改进其推理策略，从而提高解决逻辑游戏问题的准确率。这种方法模拟了人类解决问题的过程，即从错误中学习并不断改进。

技术框架：整体流程包括以下几个阶段：1) 使用初始提示生成解决方案；2) 评估解决方案的正确性；3) 如果解决方案错误，则生成反思，分析错误的原因；4) 基于反思，修改提示并重新生成解决方案；5) 重复步骤2-4，直到达到预定的迭代次数或找到正确的解决方案。该框架的核心在于反思阶段，它利用LLM的生成能力来分析自身的错误，并为后续的推理提供指导。

关键创新：最重要的技术创新点在于将Reflexion框架应用于LSAT逻辑游戏问题，并设计了有效的提示策略来引导LLM进行反思和修正。与传统的思维链提示相比，该方法能够使LLM更主动地参与到推理过程中，从而提高解决问题的能力。

关键设计：关键设计包括：1) 精心设计的初始提示，以引导LLM理解问题并生成初步解决方案；2) 用于评估解决方案正确性的标准；3) 用于生成反思的提示，例如“你犯了什么错误？为什么会犯这个错误？你如何避免再次犯同样的错误？”；4) 用于修改提示的策略，例如基于反思结果调整推理步骤或添加额外的约束条件。具体的参数设置和网络结构取决于所使用的大语言模型（如GPT-3.5或GPT-4）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过引入基于Reflexion的提示框架，GPT-4在LSAT逻辑游戏子集上的准确率从最初的较低水平提升至70%，GPT-3.5的准确率提升至46%。这一显著提升表明，LLM具有通过反思和修正来提高逻辑推理能力的潜力，优于传统的思维链提示方法。

🎯 应用场景

该研究成果可应用于提升大语言模型在需要复杂逻辑推理的场景下的表现，例如法律咨询、智能合约验证、以及其他需要精确推理和决策支持的领域。通过提高LLM的逻辑推理能力，可以开发出更可靠、更智能的AI系统，从而更好地服务于人类社会。

📄 摘要（原文）

In this thesis, I evaluate the performance of Large Language Models (LLMs) on the Law School Admissions Test (LSAT), specifically the Logic Games section of the test. I focus on this section because it presents a complex logical reasoning task and thus is a valuable source of data for evaluating how modern, increasingly capable LLMs can handle hard logical reasoning tasks. I construct a dataset of LSAT logic games and their associated metadata, and extensively evaluate LLMs' performance in a Chain-of-Thought prompting setting. Given the weak performance in this setting, I explore other prompting frameworks on a smaller subset of the dataset, adapting ideas from Reflexion to this task. This results in a substantially improved accuracy of 70 percent for GPT-4 and 46 percent for GPT-3.5 on this data subset, highlighting the capacity of LLMs to revise their logical errors, despite initially weak performance. Finally, I analyze the types of logic games that models perform better or worse on, as well as the types of logical errors I observe from human annotation, providing detailed insights on the logical reasoning capabilities of LLMs.