Competence-Based Evaluation of Logical Reasoning in Large Language Models

📄 arXiv: 2610.22894v1 📥 PDF

作者: Jize Jiang, Chengxiang Zhai

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-16

💡 一句话要点

提出基于能力的评估方法以提升大语言模型的逻辑推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑推理 大语言模型 能力评估 模型泛化 参数化生成器

📋 核心要点

  1. 现有的评估方法主要依赖单一准确率，无法全面反映大语言模型在逻辑推理中的泛化能力。
  2. 本文提出基于能力的评估（CBE），通过测试模型在不同问题上的一致性来评估其推理能力。
  3. 在六个GPT和Qwen模型的实验中，尽管表现良好，但仍有模型未能满足能力条件，显示出当前方法的局限性。

📝 摘要（中文）

近年来，大语言模型（LLMs）在多种任务上表现出色，但在逻辑推理方面仍存在不足，包括在语言变体下的不一致性。为了提升LLMs的推理能力，必须准确测量其推理能力。现有基准主要报告选定推理任务的单一准确率，这种基于性能的评估方法对模型的推理泛化能力了解甚少。为了解决这一局限性，本文提出了一种新的评估范式，称为基于能力的评估（CBE），它测试模型在一系列问题上是否可靠地应用相同的能力。我们在基本排序任务上实例化了CBE，扩展输入规模，同时变化相同排序规则的呈现方式。实验结果显示，尽管在有限复杂度范围内表现良好，但即使是强模型在测试的任务家族中也未能满足能力条件。

🔬 方法详解

问题定义：本文旨在解决现有逻辑推理评估方法的不足，特别是无法全面评估模型在不同任务上的推理能力。现有方法主要依赖单一准确率，缺乏对模型泛化能力的深入理解。

核心思路：提出基于能力的评估（CBE），通过在一系列问题上测试模型的一致性来评估其推理能力。该方法通过参数化生成器来扩展复杂性，同时保持所需能力不变。

技术框架：CBE的整体架构包括输入规模的扩展和相同排序规则的不同呈现方式。通过匹配答案保持的呈现方式，测试模型在不同表述下的正确性。

关键创新：CBE的主要创新在于其评估范式的转变，从单一的性能评估转向能力一致性的评估。这一方法能够提供更全面的模型能力诊断。

关键设计：在实验中，使用了参数化生成器来调整输入的复杂性，并通过多种呈现方式来测试模型的推理能力。实验还涉及链式思维和GRPO等方法的比较，结果显示这些方法在某些情况下表现良好，但未能解决所有测试中的失败。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在有限复杂度范围内，六个GPT和Qwen模型的表现相对良好，但即使是表现强劲的模型在能力一致性测试中仍存在失败。这表明当前模型在逻辑推理能力上的局限性，强调了CBE方法的必要性和有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理工具等。通过提升大语言模型的逻辑推理能力，可以在更复杂的任务中实现更高的准确性和可靠性，进而推动人工智能在实际应用中的发展。未来，CBE方法可为新模型的评估提供持续的支持和改进。

📄 摘要（原文）

Recent advances in large language models (LLMs) have brought impressive performance across diverse tasks; however, shortcomings remain in logical reasoning, including inconsistencies under linguistic variation. To improve the reasoning capacity of LLMs, we must be able to accurately measure their reasoning capacity. Current benchmarks primarily report single accuracy numbers on selected reasoning tasks. Such a performance-based evaluation methodology says little about a model's generalization capacity in reasoning. To address this limitation, we argue for a different evaluation paradigm, called competence-based evaluation (CBE), which tests whether models reliably apply the same competence across a family of problems. A parameterized generator scales complexity while keeping the required competence fixed, and matched answer-preserving presentations test correctness beyond one formulation. We instantiate CBE on elementary ordering tasks, scaling input size while varying presentations of the same ordering rule. Across six GPT and Qwen models, performance is reasonably good over bounded complexity ranges, but even strong models fail the competence condition across the tested family. Chain-of-thought and GRPO extend strong performance without resolving all tested failures; supervised LoRA shows little held-out transfer. CBE provides diagnostic profiles and an evaluation protocol that can grow with future models.