Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models

📄 arXiv: 2409.17539v2 📥 PDF

作者: Tongxuan Liu, Wenjiang Xu, Weizhe Huang, Yuting Zeng, Jiaxing Wang, Xingyu Wang, Hailong Yang, Jing Li

分类: cs.CL

发布日期: 2024-09-26 (更新: 2025-02-07)

备注: 18 pages, Accepted to NAACL2025

💡 一句话要点

提出Logic-of-Thought，通过注入逻辑信息增强大语言模型的复杂推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 逻辑推理 命题逻辑 思维链 提示学习 知识注入 上下文增强

📋 核心要点

  1. 现有大语言模型在复杂逻辑推理任务中表现不足，且思维链方法存在结论与推理链不一致的问题。
  2. 提出Logic-of-Thought (LoT) 提示方法，利用命题逻辑生成扩展的逻辑信息描述，增强上下文信息完整性。
  3. 实验结果表明，LoT能显著提升多种提示方法在逻辑推理任务上的性能，例如在ReClor数据集上提升CoT 4.35%。

📝 摘要（中文）

大型语言模型(LLMs)在各种任务中表现出卓越的能力，但它们在复杂的逻辑推理任务中的性能仍然不尽如人意。虽然一些提示方法，如思维链(Chain-of-Thought)，可以在一定程度上提高LLMs的推理能力，但它们存在一个不忠实的问题，即得出的结论可能与生成的推理链不一致。为了解决这个问题，一些研究采用命题逻辑的方法来进一步增强LLMs的逻辑推理能力。然而，这些方法在提取逻辑表达式时可能存在的遗漏会导致逻辑推理过程中的信息丢失，从而产生不正确的结果。为此，我们提出了Logic-of-Thought (LoT)提示，它采用命题逻辑来生成扩展的逻辑信息描述，并将其作为对原始上下文的额外增强，从而确保信息的完整性并增强逻辑推理能力。LoT与现有的提示方法是正交的，可以与它们无缝集成。大量的实验表明，LoT在五个逻辑推理任务中显著提高了各种提示方法的性能。特别是，LoT将Chain-of-Thought在ReClor数据集上的性能提高了+4.35%，将Chain-of-Thought with Self-Consistency在RuleTaker数据集上的性能提高了+3.52%，并将Tree-of-Thoughts在ProofWriter数据集上的性能提高了+8%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在复杂逻辑推理任务中表现不佳的问题。现有方法，如思维链(CoT)，虽然能提升推理能力，但存在“不忠实”问题，即结论与推理过程不一致。基于命题逻辑的方法在提取逻辑表达式时可能遗漏信息，导致推理错误。

核心思路：论文的核心思路是利用命题逻辑，对原始上下文进行增强，生成更完整、更准确的逻辑信息描述。通过将这些扩展的逻辑信息注入到LLM的输入中，确保模型在推理过程中获得充分的信息，从而提高推理的准确性和可靠性。

技术框架：LoT prompting 的整体框架包括以下几个阶段：1) 从原始问题文本中提取关键的事实和关系；2) 使用命题逻辑对提取的信息进行形式化表示，生成逻辑表达式；3) 基于这些逻辑表达式，生成更详细、更全面的逻辑信息描述；4) 将生成的逻辑信息描述添加到原始上下文，作为LLM的输入；5) LLM基于增强后的上下文进行推理，生成最终答案。

关键创新：LoT的关键创新在于它利用命题逻辑来显式地增强LLM的上下文信息，确保信息完整性，从而提高逻辑推理能力。与现有方法相比，LoT避免了信息提取过程中的潜在遗漏，并能与现有的提示方法（如CoT）无缝集成。

关键设计：LoT的关键设计包括：1) 如何有效地从原始文本中提取逻辑信息；2) 如何选择合适的命题逻辑表示方法；3) 如何将生成的逻辑信息描述以最佳方式融入到LLM的输入中，以最大程度地发挥其作用。论文中可能涉及一些超参数的调整，例如逻辑信息描述的长度、注入上下文的位置等，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Logic-of-Thought (LoT) 能够显著提升现有提示方法在逻辑推理任务上的性能。例如，在ReClor数据集上，LoT将Chain-of-Thought (CoT) 的性能提高了4.35%。在RuleTaker数据集上，LoT将Chain-of-Thought with Self-Consistency的性能提高了3.52%。在ProofWriter数据集上，LoT将Tree-of-Thoughts的性能提高了8%。这些结果表明，LoT是一种有效的增强LLM逻辑推理能力的方法。

🎯 应用场景

Logic-of-Thought具有广泛的应用前景，可应用于问答系统、智能客服、法律咨询、医疗诊断等需要复杂逻辑推理的领域。通过提升LLM的逻辑推理能力，可以提高这些应用的准确性和可靠性，从而更好地服务于用户，并有望推动人工智能在更复杂、更关键的任务中的应用。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities across various tasks but their performance in complex logical reasoning tasks remains unsatisfactory. Although some prompting methods, such as Chain-of-Thought, can improve the reasoning ability of LLMs to some extent, they suffer from an unfaithful issue where derived conclusions may not align with the generated reasoning chain. To address this issue, some studies employ the approach of propositional logic to further enhance logical reasoning abilities of LLMs. However, the potential omissions in the extraction of logical expressions in these methods can cause information loss in the logical reasoning process, thereby generating incorrect results. To this end, we propose Logic-of-Thought (LoT) prompting which employs propositional logic to generate expanded logical information descriptions and utilizes them as an additional augmentation to original contexts, thereby ensuring information completeness and enhancing logical reasoning ability. LoT is orthogonal to existing prompting methods and can be seamlessly integrated with them. Extensive experiments demonstrate that LoT boosts the performance of various prompting methods with a striking margin across five logical reasoning tasks. In particular, LoT enhances Chain-of-Thought's performance on the ReClor dataset by +4.35%, improves Chain-of-Thought with Self-Consistency's performance on the RuleTaker dataset by +3.52%, and boosts performance of Tree-of-Thoughts on the ProofWriter dataset by +8%.