Position: Logical Soundness is not a Reliable Criterion for Neurosymbolic Fact-Checking with LLMs

📄 arXiv: 2604.04177 📥 PDF

作者: Jason Chan, Robert Gaizauskas, Zhixue Zhao

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

指出神经符号事实核查中逻辑可靠性作为唯一标准的局限性，并提倡利用LLM的人类推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经符号推理 事实核查 大型语言模型 逻辑推理 语用学 认知科学 误导性信息

📋 核心要点

  1. 现有神经符号事实核查系统依赖逻辑可靠性来验证声明，但忽略了逻辑合理性与人类推理之间的差异，导致无法检测误导性信息。
  2. 论文提出利用LLM模拟人类推理，将其作为神经符号系统的补充，验证形式组件的输出，从而识别潜在的误导性结论。
  3. 论文借鉴认知科学和语用学研究，构建了一个类型学，展示了逻辑上合理但会引发人类错误推断的案例。

📝 摘要（中文）

随着大型语言模型（LLMs）越来越多地被整合到事实核查流程中，形式逻辑经常被提议作为一种严格的手段，以减轻这些模型输出中的偏差、错误和幻觉。例如，一些神经符号系统通过使用LLMs将自然语言翻译成逻辑公式，然后检查所提出的声明是否在逻辑上可靠，即它们是否可以从被验证为真的前提中有效地推导出来，以此来验证声明。我们认为，由于逻辑上合理的结论与人类通常做出和接受的推论之间存在系统性差异，这种方法在结构上无法检测到误导性声明。借鉴认知科学和语用学研究，我们提出了一种类型学，其中逻辑上合理的结论系统地引出人类推论，而这些推论并没有得到基本前提的支持。因此，我们提倡一种互补的方法：利用LLMs类人的推理倾向作为一种特性，而不是缺陷，并使用这些模型来验证神经符号系统中形式组件的输出，以防止产生潜在的误导性结论。

🔬 方法详解

问题定义：现有神经符号事实核查系统过度依赖逻辑可靠性作为唯一标准，忽略了人类推理的复杂性。即使一个结论在逻辑上是正确的，它仍然可能在语用上具有误导性，因为人类可能会根据常识或背景知识做出额外的、未经明确声明的推断。现有方法无法有效识别和处理这些误导性情况，导致事实核查结果不准确。

核心思路：论文的核心思路是利用大型语言模型（LLMs）模拟人类的推理过程，将其作为神经符号系统的补充。LLMs在训练过程中学习了大量的人类知识和推理模式，因此可以用来评估一个逻辑上合理的结论是否可能导致人类产生错误的推断。通过将LLM的推理能力与形式逻辑的严谨性相结合，可以更有效地检测和纠正误导性信息。

技术框架：论文并没有提出一个具体的系统架构，而是提出了一种新的评估和验证神经符号系统输出的思路。其核心在于利用LLM来评估逻辑结论的语用含义，判断其是否可能导致误导。具体流程可能包括：1) 使用LLM将自然语言转换为逻辑公式；2) 验证逻辑公式的可靠性；3) 使用LLM评估逻辑结论是否可能导致人类产生未经前提支持的推断；4) 如果LLM认为结论具有误导性，则进行进一步的分析和修正。

关键创新：论文的关键创新在于指出逻辑可靠性作为事实核查的唯一标准的局限性，并提倡利用LLM的人类推理能力来弥补这一缺陷。与现有方法不同，该方法不仅关注逻辑的正确性，还关注结论的语用含义，从而更全面地评估信息的真实性和可靠性。

关键设计：论文并未提供具体的参数设置或网络结构，而是侧重于概念上的创新。关键设计在于如何有效地利用LLM来模拟人类的推理过程，并将其与形式逻辑相结合。这可能涉及到设计合适的prompt，训练LLM识别和评估误导性信息，以及开发相应的评估指标。

📊 实验亮点

论文通过分析逻辑上合理但易产生误导性推论的案例，论证了现有神经符号事实核查方法的局限性。虽然没有提供具体的性能数据，但该研究为改进神经符号系统提供了一个新的视角，即需要考虑人类的推理模式，并利用LLM的优势来弥补形式逻辑的不足。

🎯 应用场景

该研究成果可应用于各种需要事实核查的场景，例如新闻报道、社交媒体内容审核、科学研究验证等。通过提高事实核查的准确性和可靠性，可以减少虚假信息的传播，维护社会公共利益，并为决策提供更可靠的信息支持。未来，该方法可以进一步扩展到其他领域，例如法律推理、医疗诊断等。

📄 摘要（原文）

As large language models (LLMs) are increasing integrated into fact-checking pipelines, formal logic is often proposed as a rigorous means by which to mitigate bias, errors and hallucinations in these models' outputs. For example, some neurosymbolic systems verify claims by using LLMs to translate natural language into logical formulae and then checking whether the proposed claims are logically sound, i.e. whether they can be validly derived from premises that are verified to be true. We argue that such approaches structurally fail to detect misleading claims due to systematic divergences between conclusions that are logically sound and inferences that humans typically make and accept. Drawing on studies in cognitive science and pragmatics, we present a typology of cases in which logically sound conclusions systematically elicit human inferences that are unsupported by the underlying premises. Consequently, we advocate for a complementary approach: leveraging the human-like reasoning tendencies of LLMs as a feature rather than a bug, and using these models to validate the outputs of formal components in neurosymbolic systems against potentially misleading conclusions.