Large Language Models can Learn Rules

📄 arXiv: 2310.07064v3 📥 PDF

作者: Zhaocheng Zhu, Yuan Xue, Xinyun Chen, Denny Zhou, Jian Tang, Dale Schuurmans, Hanjun Dai

分类: cs.AI, cs.CL

发布日期: 2023-10-10 (更新: 2024-12-19)

💡 一句话要点

提出Hypotheses-to-Theories框架以解决LLM推理准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理规则 归纳学习 演绎推理 准确性提升 知识迁移 人工智能

📋 核心要点

  1. 现有的提示方法依赖LLM的隐式知识，容易在知识错误或不一致时产生错误答案，影响推理准确性。
  2. 本文提出的HtT框架通过归纳和演绎两个阶段，学习推理规则库，从而增强LLM的推理能力。
  3. 实验结果显示，HtT在多个推理任务上相较于现有方法提高了10-30%的准确率，且学习的规则具有可迁移性。

📝 摘要（中文）

当被提示以几个示例和中间步骤时，大型语言模型（LLMs）在各种推理任务中表现出色。然而，依赖LLM隐式知识的提示方法在隐式知识错误或与任务不一致时，往往会生成错误答案。为了解决这个问题，本文提出了Hypotheses-to-Theories（HtT）框架，该框架通过两个阶段学习推理规则库。在归纳阶段，LLM首先生成并验证一组训练示例的规则，收集那些足够频繁导致正确答案的规则以形成规则库。在演绎阶段，LLM被提示使用学习到的规则库进行推理以回答测试问题。实验表明，HtT在关系推理、数值推理和概念学习问题上显著提高了现有提示方法的准确性，提升幅度为10-30%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理任务中因隐式知识错误而导致的准确性问题。现有方法在处理复杂推理时常常无法保证答案的正确性。

核心思路：论文提出的HtT框架通过归纳学习和演绎推理两个阶段，构建一个规则库，以指导LLM在推理时使用明确的规则，从而提高推理的准确性和一致性。

技术框架：HtT框架分为两个主要阶段：归纳阶段和演绎阶段。在归纳阶段，LLM生成并验证规则，收集有效规则形成规则库；在演绎阶段，LLM利用规则库进行推理以回答测试问题。

关键创新：HtT框架的创新在于通过系统化的规则学习过程，显著提升了LLM在推理任务中的表现，区别于传统依赖隐式知识的提示方法。

关键设计：在归纳阶段，设计了规则生成和验证机制，确保收集的规则在多次实验中能有效导致正确答案。演绎阶段则通过精确的提示策略引导LLM使用规则库进行推理。具体的参数设置和损失函数设计在实验中经过调优，以确保最佳性能。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，HtT框架在关系推理、数值推理和概念学习任务上，相较于现有提示方法，准确率提升了10-30%。此外，学习到的规则具有良好的迁移性，能够适用于不同模型和相同问题的不同形式。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理等。通过提高LLM的推理准确性，能够在更复杂的任务中提供可靠的支持，进而推动人工智能在各行业的应用和发展。

📄 摘要（原文）

When prompted with a few examples and intermediate steps, large language models (LLMs) have demonstrated impressive performance in various reasoning tasks. However, prompting methods that rely on implicit knowledge in an LLM often generate incorrect answers when the implicit knowledge is wrong or inconsistent with the task. To tackle this problem, we present Hypotheses-to-Theories (HtT), a framework that learns a rule library for reasoning with LLMs. HtT contains two stages, an induction stage and a deduction stage. In the induction stage, an LLM is first asked to generate and verify rules over a set of training examples. Rules that appear and lead to correct answers sufficiently often are collected to form a rule library. In the deduction stage, the LLM is then prompted to employ the learned rule library to perform reasoning to answer test questions. Experiments on relational reasoning, numerical reasoning and concept learning problems show that HtT improves existing prompting methods, with an absolute gain of 10-30% in accuracy. The learned rules are also transferable to different models and to different forms of the same problem.