LINKED: Eliciting, Filtering and Integrating Knowledge in Large Language Model for Commonsense Reasoning

📄 arXiv: 2410.09541v1 📥 PDF

作者: Jiachun Li, Pengfei Cao, Chenhao Wang, Zhuoran Jin, Yubo Chen, Kang Liu, Xiaojian Jiang, Jiexin Xu, Jun Zhao

分类: cs.CL, cs.AI

发布日期: 2024-10-12

备注: Accepted by EMNLP 2024 Findings

💡 一句话要点

提出LINKED方法，通过知识过滤与一致性推理提升大语言模型常识推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 常识推理 大语言模型 知识过滤 奖励模型 一致性推理 知识增强 有效性保持分数

📋 核心要点

  1. 现有方法在常识推理中面临噪声知识干扰和无效推理的问题，导致大语言模型性能下降。
  2. LINKED方法通过奖励模型过滤噪声知识，并利用边际一致性推理模块减少无效推理，提升推理质量。
  3. 在常识推理基准测试中，LINKED方法显著优于现有最佳方法，准确率提升高达9.0%。

📝 摘要（中文）

大型语言模型（LLMs）在知识密集型任务中表现有时不佳，常识推理是其中之一。研究人员通常通过从知识图谱中检索相关知识或采用自我增强方法来激发LLMs中的知识来解决这些问题。然而，噪声知识和无效推理问题阻碍了它们准确回答问题的能力。为此，我们提出了一种名为LINKED的新方法，该方法旨在激发、过滤和整合大型语言模型中的知识。其中，我们设计了一个奖励模型来过滤掉噪声知识，并采用边际一致性推理模块来减少无效推理。通过我们在两个复杂的常识推理基准上的综合实验，我们的方法优于SOTA基线（准确率提高了高达9.0%）。此外，为了衡量注入知识的正面和负面影响，我们为知识增强工作提出了一种新的指标，称为有效性保持分数。最后，通过广泛的实验，我们进行了深入的分析，并发现了许多关于LLMs在常识推理任务中的有意义的结论。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在常识推理任务中，由于噪声知识和无效推理导致的性能瓶颈问题。现有方法依赖于知识图谱检索或自我增强，但无法有效区分和过滤噪声知识，并且推理过程容易产生逻辑错误，导致答案不准确。

核心思路：LINKED方法的核心思路是“激发、过滤和整合”知识。首先，激发大语言模型生成多种可能的知识片段。然后，利用奖励模型对这些知识片段进行过滤，去除噪声和不相关的知识。最后，通过边际一致性推理模块，对剩余的知识进行整合，减少无效推理，从而提高常识推理的准确性。

技术框架：LINKED方法主要包含三个模块：知识激发模块、知识过滤模块和边际一致性推理模块。知识激发模块负责从大语言模型中提取潜在的常识知识。知识过滤模块使用奖励模型对提取的知识进行评分，并过滤掉低质量的知识。边际一致性推理模块则利用过滤后的知识进行推理，并通过一致性约束来减少无效推理。

关键创新：LINKED方法的关键创新在于：1) 提出了基于奖励模型的知识过滤方法，能够有效区分和过滤噪声知识；2) 引入了边际一致性推理模块，通过一致性约束来提高推理的可靠性；3) 提出了有效性保持分数（effectiveness-preservation score）这一新指标，用于衡量知识增强方法对原始模型性能的影响。

关键设计：奖励模型的设计是关键，论文可能采用了预训练语言模型作为奖励模型，并使用人工标注数据或自动生成的数据进行训练，以学习区分高质量和低质量知识。边际一致性推理模块可能采用了某种形式的逻辑推理或概率推理，并使用一致性损失函数来约束推理过程。具体的参数设置、损失函数和网络结构等细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LINKED方法在两个复杂的常识推理基准测试中取得了显著的性能提升，最高准确率提升达到9.0%，超越了现有最佳方法。此外，论文还提出了有效性保持分数这一新指标，为评估知识增强方法提供了新的视角。

🎯 应用场景

LINKED方法可应用于各种需要常识推理的场景，例如问答系统、对话系统、智能助手等。通过提高常识推理的准确性，可以显著改善这些系统的性能和用户体验。此外，该方法提出的知识过滤和一致性推理技术，也可以推广到其他知识密集型任务中，具有广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) sometimes demonstrate poor performance on knowledge-intensive tasks, commonsense reasoning is one of them. Researchers typically address these issues by retrieving related knowledge from knowledge graphs or employing self-enhancement methods to elicit knowledge in LLMs. However, noisy knowledge and invalid reasoning issues hamper their ability to answer questions accurately. To this end, we propose a novel method named eliciting, filtering and integrating knowledge in large language model (LINKED). In it, we design a reward model to filter out the noisy knowledge and take the marginal consistent reasoning module to reduce invalid reasoning. With our comprehensive experiments on two complex commonsense reasoning benchmarks, our method outperforms SOTA baselines (up to 9.0% improvement of accuracy). Besides, to measure the positive and negative impact of the injected knowledge, we propose a new metric called effectiveness-preservation score for the knowledge enhancement works. Finally, through extensive experiments, we conduct an in-depth analysis and find many meaningful conclusions about LLMs in commonsense reasoning tasks.