LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

📄 arXiv: 2601.16504v1 📥 PDF

作者: Obed Junias, Maria Leonor Pacheco

分类: cs.CL, cs.AI

发布日期: 2026-01-23

💡 一句话要点

提出LOGICAL-COMMONSENSEQA基准，用于评估常识推理中的逻辑组合能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 常识推理 逻辑推理 自然语言处理 基准测试 组合推理

📋 核心要点

  1. 现有常识推理基准侧重于单标签评估，无法有效评估多个陈述之间的逻辑关系。
  2. LOGICAL-COMMONSENSEQA将常识推理建模为原子陈述对的逻辑组合，使用AND、OR、NEITHER/NOR等运算符。
  3. 实验表明，现有模型在否定相关的逻辑推理上表现较差，揭示了常识推理的局限性。

📝 摘要（中文）

常识推理通常涉及评估多个合理的解释，而非选择单一的原子答案。然而，大多数基准测试依赖于单标签评估，掩盖了陈述在联合上是否合理、互斥或联合上不合理。我们引入LOGICAL-COMMONSENSEQA，该基准将常识推理重新定义为原子陈述对之间的逻辑组合，使用合理性级别的运算符（AND、OR、NEITHER/NOR）。通过零样本、少样本和思维链提示，评估指令调整、推理专用和微调模型，我们发现模型在合取推理上表现良好，在析取推理上表现尚可，但在基于否定的问题上性能急剧下降。LOGICAL-COMMONSENSEQA揭示了基本的推理局限性，并为推进组合常识推理提供了一个受控框架。

🔬 方法详解

问题定义：现有常识推理基准主要采用单标签评估方式，无法有效衡量模型对多个陈述之间逻辑关系的理解能力。例如，无法判断多个陈述是共同合理、互斥还是共同不合理。这限制了对模型常识推理能力的全面评估。

核心思路：论文的核心思路是将常识推理问题重新定义为原子陈述对之间的逻辑组合。通过引入逻辑运算符（AND、OR、NEITHER/NOR），将复杂的常识推理问题分解为对多个原子陈述合理性的判断，并根据逻辑运算符进行组合。

技术框架：LOGICAL-COMMONSENSEQA基准包含一系列问题，每个问题包含两个原子陈述以及一个逻辑运算符。模型需要判断每个原子陈述的合理性，然后根据逻辑运算符计算最终答案。评估过程包括零样本、少样本和思维链提示等多种方式，以考察模型在不同条件下的推理能力。

关键创新：该基准的关键创新在于将常识推理问题形式化为逻辑组合问题，从而能够更细粒度地评估模型对常识的理解和推理能力。与传统的单标签评估方式相比，LOGICAL-COMMONSENSEQA能够更全面地揭示模型在不同逻辑关系下的表现。

关键设计：基准中的逻辑运算符包括AND（合取）、OR（析取）和NEITHER/NOR（双重否定）。问题的设计需要保证原子陈述的合理性具有一定的模糊性，避免过于简单的问题。评估指标主要关注模型在不同逻辑运算符下的准确率，以及对原子陈述合理性的判断准确率。

📊 实验亮点

实验结果表明，现有模型在合取推理和析取推理上表现尚可，但在基于否定的推理上性能显著下降。例如，在NEITHER/NOR类型的问题上，模型的准确率远低于随机猜测水平。这表明现有模型在处理否定相关的常识推理时存在明显的局限性，需要进一步改进。

🎯 应用场景

LOGICAL-COMMONSENSEQA基准可用于评估和提升各种自然语言处理模型的常识推理能力，尤其是在需要进行复杂逻辑推理的场景中，例如问答系统、对话系统和智能助手。该基准有助于推动常识推理领域的研究进展，并促进更智能、更可靠的人工智能系统的开发。

📄 摘要（原文）

Commonsense reasoning often involves evaluating multiple plausible interpretations rather than selecting a single atomic answer, yet most benchmarks rely on single-label evaluation, obscuring whether statements are jointly plausible, mutually exclusive, or jointly implausible. We introduce LOGICAL-COMMONSENSEQA, a benchmark that re-frames commonsense reasoning as logical composition over pairs of atomic statements using plausibility-level operators (AND, OR, NEITHER/NOR). Evaluating instruction-tuned, reasoning-specialized, and fine-tuned models under zero-shot, few-shot, and chain-of-thought prompting, we find that while models perform reasonably on conjunctive and moderately on disjunctive reasoning, performance degrades sharply on negation-based questions. LOGICAL-COMMONSENSEQA exposes fundamental reasoning limitations and provides a controlled framework for advancing compositional commonsense reasoning.