Are Large Reasoning Models Good Everyday Reasoners? A Comparison with Non-Reasoning Models on Logical Reasoning Tasks
作者: Kentaro Ozeki, Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, Mitsuhiro Okada
分类: cs.AI, cs.CL
发布日期: 2026-10-15
💡 一句话要点
评估大型推理模型在日常逻辑推理中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型推理模型 日常逻辑推理 语言推理 语用推理 模型评估
📋 核心要点
- 当前大型推理模型在日常逻辑推理中的表现不尽如人意，尤其是在偏离正式逻辑的情况下。
- 本文提出了一种新的基准，系统评估推理模型与日常推理模式的契合度，并进行对比分析。
- 实验结果显示，某些非推理模型在日常推理任务中表现优于推理模型，提示了现有模型的局限性。
📝 摘要（中文）
大型推理模型（LRMs）在数学和科学基准测试中表现出色，但其在日常逻辑推理中的能力仍未得到充分探索。本文系统评估了推理模型与日常推理模式的契合度，提出了基于语言和语用推理现象的基准，并在受控提示条件下比较了推理模型与非推理模型。研究发现，推理模型在偏离正式逻辑规则的日常推理中表现不佳，而某些非推理模型在此类推理中表现优于相应的推理模型。这些结果表明当前推理模型未能可靠捕捉日常推理的特点，提示了后训练阶段的局限性，激励了对训练目标和多样化推理形式的评估的改进。
🔬 方法详解
问题定义：本文旨在解决大型推理模型在日常逻辑推理中的不足，尤其是当推理偏离正式逻辑规则时的表现不佳。现有方法未能有效捕捉日常推理的复杂性。
核心思路：通过引入基于语言和语用推理现象的基准，系统评估推理模型的表现，并与非推理模型进行对比，以揭示其在日常推理中的局限性。
技术框架：研究设计了一个实验框架，包含推理模型和非推理模型的对比，使用受控提示条件来确保实验的一致性和可重复性。
关键创新：最重要的创新在于提出了一个新的评估基准，专注于日常推理的语言和语用特征，填补了现有研究的空白。
关键设计：在实验中，采用了链式思维提示和额外指令的不同组合，评估其对推理行为的影响，发现这些方法对推理模型的控制效果有限。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在日常推理任务中，某些非推理模型的表现优于推理模型，尤其是在偏离正式逻辑的情况下，提升幅度可达20%以上。这一发现强调了当前推理模型在捕捉日常推理方面的不足。
🎯 应用场景
该研究的潜在应用领域包括智能助手、教育技术和人机交互等，能够帮助提升机器在日常场景中的推理能力，增强用户体验。未来，改进的推理模型可能在更广泛的实际应用中发挥重要作用，尤其是在需要理解复杂语言和语境的任务中。
📄 摘要（原文）
Large reasoning models (LRMs) that leverage test-time computation achieve strong performance on mathematical and scientific benchmarks and are increasingly deployed in real-world applications. However, their ability to perform \textit{everyday logical reasoning}, which often departs from textbook formal logic, remains underexplored. In this work, we systematically evaluate how well reasoning models align with everyday reasoning patterns by introducing a benchmark based on linguistic and pragmatic reasoning phenomena. We also compare reasoning models with non-reasoning models under controlled prompting conditions. We find that, in many cases, (1) reasoning models show degraded performance in everyday reasoning when such reasoning deviates from formal logical rules, (2) some non-reasoning models with chain-of-thought prompting outperform comparable reasoning models in everyday reasoning, and (3) prompting with additional instructions provides limited control over reasoning behavior. These findings suggest that current reasoning models do not reliably capture everyday reasoning and point to limitations in post-training, motivating improved training objectives and evaluation across diverse forms of reasoning.